Разрывался между названиями MiLLM и Mistrillitary. Именование знаков — одна из двух величайших проблем в информатике… Это тонкая настройка, сделанная экспертом в предметной области, основанная на полевых руководствах армии США (тех, которые опубликованы и доступны для гражданских лиц, таких как я). Он ориентирован только на ответы на фактические вопросы, но, похоже, в крайнем случае может ответить на несколько более глубокие вопросы. — Мне пришлось сосредоточиться на армейских уставах, потому что в вооруженных силах издается действительно огромный объем текстов. — Данные помощников общего профиля не были включены, что означает, что они очень, очень сосредоточены на обеспечении качества и могут быть негибкими. — Экспериментальное изменение: данные в основном были получены с помощью меньшей модели Mistral NeMo. Качество кажется не пострадало, затраты намного ниже. Были проблемы с открытыми вопросами, которые были не в правильном формате. — Рекомендуется низкая температура. В скриншотах используется 0. — ChatML — специальные токены не добавляются. Во время обучения использовались следующие гиперпараметры: — скорость обучения: 2e-05 — trainbatchsize: 2 — evalbatchsize: 1 — начальное число: 42 — распределенный тип: multi-GPU — numdevices: 5 -gradientaccumulationsteps: 6 — totaltrainbatchsize: 60 — totalevalbatchsize: 5 — оптимизатор: Адам с betas=(0,9,0,999) и…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Heralax
Теги: gguf, mistral, generated_from_trainer, conversational, text-generation-inference, endpoints_compatible
Лайков: 22 | Загрузок: 932
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
