Llama-3.1-EstLLM-8B-Instruct-1125 получен путем применения подхода слияния векторов чата к tartuNLP/Llama-3.1-EstLLM-8B-Instruct-0825. Модель подвергалась непрерывному предварительному обучению, начиная с мета-ламы/Llama-3.1-8B примерно на 35B токенах, в результате чего получился tartuNLP/Llama-3.1-EstLLM-8B-0525, затем были применены контролируемая тонкая настройка и прямая оптимизация предпочтений. — Разработано: исследовательскими группами TartuNLP и TalTechNLP — Финансируется: Министерство образования и науки Эстонии, «Программа технологий эстонского языка 2018-2027» — Тип модели: причинно-следственная языковая модель, следование инструкциям — Язык(и) (NLP): эстонский, английский — Лицензия: Лицензионное соглашение сообщества Llama 3.1 — Доработано на основе модели: tartuNLP/Llama-3.1-EstLLM-8B-0525 Продолжение предварительного обучения проводилось в течение одной эпохи на: — Эстонском национальном корпусе (8,6 млрд токенов) — Python-Edu (3,3 млрд токенов) — FineMath4-Plus (9,5 млрд токенов) — General Instruction-Augmented Corpora (7,4 млрд токенов) — Cosmopedia v2 (6,9 млрд токенов) Для контролируемой точной настройки было использовано около 764 тыс. примеров. Примеры в основном взяты из смеси Tulu 3 SFT и EuroBlocks. Дополнительные данные, предоставленные Институтом эстонского языка (EKI), были…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: tartuNLP
Теги: llama, merge, conversational, et, en, eval-results, text-generation-inference, endpoints_compatible
Лайков: 6 | Загрузок: 376
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
