> [!TIP] Без каких-либо регрессий в тестах, а в основном с улучшениями по сравнению с предыдущей версией, эта версия Ламарка преодолела средний максимум 41,0 для моделей с 14B параметрами. Тем, кто оставляет отзывы, спасибо! Lamarck 14B v0.7: Общее слияние с упором на многоэтапное рассуждение, прозу и способность говорить на нескольких языках. Класс моделей параметров 14B имеет много сильных исполнителей, и Ламарк стремится быть всесторонним и надежным: !14b.png Lamarck создается с помощью специальной цепочки инструментов для автоматизации процесса слияний LoRA и целевых слоев: — Адаптеры LoRA, извлеченные из слияний специального назначения — Пользовательские базовые модели и наборы моделей с LoRA из huihui-ai/Qwen2.5-14B-Instruct-abliterated-v2 для минимизации потерь IFEVAL, часто наблюдаемых при слиянии модельного фонда — Отдельные ветки для агрессивных хлебных крошек и консервативных слияний DELLA — Точные градиенты веса/плотности для каждых 2-4 слоев на каждом этапе — Финализация с помощью слияний SLERP+TIES, рекомбинирующих хлебные крошки и ветки DELLA, чтобы оценить производительность Ламарка родословная, которая восходит к тщательному слиянию для отбора тонких настроек, переработанных и объединенных. Путем промежуточных слияний arcee-ai/Virtuoso-Small…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: sometimesanotion
Теги: qwen2, mergekit, merge, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 45 | Загрузок: 1,485
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
