обновлен процесс обработки данных

This commit is contained in:
Даниил Грабарь
2026-10-26 11:29:03 +10:00
parent 1059b47978
commit 879d90605c
6 changed files with 219 additions and 32 deletions
+7 -6
View File
@@ -1,13 +1,14 @@
# Число итоговых обучающих строк СУММАРНО по full/step/branch.
# CLI --count имеет приоритет. Можно указать 0, 1, 100, 500000 и т.д.
target_examples: 500000
seed: 20261021
output_dir: dataset/assembly-ru
seed: 20261032
output_dir: dataset/assembly-ru-branch-500k
prompts_file: prompts.yaml # инструкции LLM и обучающих записей
modes: [full, step, branch]
step_sampling: one # one: один шаг на эпизод; all: каждый шаг отдельной строкой
# modes: [full, step, branch]
modes: [branch]
step_sampling: all # one: один шаг на эпизод; all: каждый шаг отдельной строкой
shard_size: 1000
split: [1.0, 0.0, 0.0] # разделение по сценарию; малые наборы не гарантируют все split
split: [0.8, 0.2, 0] # разделение по сценарию; малые наборы не гарантируют все split
min_components: 1
max_components: 10
blocked_fraction: 0.2
@@ -37,7 +38,7 @@ teacher:
# Для существующей интеграции Codex замените llm выше:
llm:
provider: codex
model: gpt-6-astra
model: gpt-6-luna
credential_path: .config/codex-credentials.json
generation:
temperature: null