Данная модель создана путём слияния TinyMistral-248M-v1 и v2, затем дальнейшей предварительной подготовки по синтетическим учебникам. После личной оценки производительность полученной модели превосходит обе модели. Во время обучения эта модель достигла среднего показателя недоумения 4, превосходя V1 почти в 7 раз и V2 в 4 раза. Для воспроизведения объединенной модели можно использовать следующую конфигурацию: Эта модель также может отвечать на базовые вопросы без необходимости тонкой настройки. Эта модель также была создана как попытка исправить проблему с V2 — веса были склонны к взрывному градиенту, что затрудняло точную настройку. Эту модель легче настроить. Чтобы получить максимальную отдачу от этой модели, я рекомендую установить ее и опробовать самостоятельно, поскольку производительность модели в API вывода снижается.
Модальности:
Генерация текста
Области применения:
Генерация кода
Задача: Генерация текста
Автор: Locutusque
Теги: mistral, merge, computer science, en, code, model-index, text-generation-inference, endpoints_compatible
Лайков: 27 | Загрузок: 261
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
