В греческой мифологии Титан Лелантос правит как безмолвный Охотник, существо, умело перемещающееся в тенях и в воздухе. В честь этого божественного мастера скрытности я называю этот продвинутый LLM «Лелантос» — системой, предназначенной для создания знаний из бессмысленных слияний моделей. Lelantos-7B — это слияние с изюминкой. Многие из существующих объединенных моделей, получивших высокие оценки в таблице лидеров Open LLM, часто имеют странные проблемы при использовании в реальных условиях. Когда я тестировал такие модели, как сильно объединенные производные Marcoroni-v3, я часто видел удивительно плохие результаты MT-Bench. Я подозреваю, что удаление специальных токенов (например, токена EOS!) из Frankenmerges негативно повлияло на некоторые из этих моделей. Lelantos-7B — это слияние глубоко объединенных моделей «все на бублике», но с переназначением токена EOS с на путем ручного редактирования JSON токенизатора. MergeKit «под капотом» правильно переназначит это при обратном слиянии с соответствующей моделью ChatML, такой как DPOpenHermes-v2, для которой все еще сопоставлен специальный токен. Кроме того, я объединил jan-hq/stealth-v1.2 — модель, которая показалась мне ничем не примечательной сама по себе, но поразительно эффективной при использовании в качестве дополнительной приправы…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: SanjiWatsuki
Теги: mistral, chatml, merge, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 5 | Загрузок: 9
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
