Это экспериментальное самостоятельное слияние с использованием мета-ламы/Meta-Llama-3.1-405B-Instruct и созданное с помощью mergekit. Это прямой преемник Meta-Llama-3-120B-Instruct, самостоятельного слияния Llama 3 70B, создавшего достойную модель 120B для таких задач, как творческое письмо. Я подправил диапазон дублированных слоев, чтобы, надеюсь, создать разумную модель. Используйте его на свой страх и риск! Я рекомендую использовать эту модель для творческого письма с шаблоном чата Llama 3. Эта модель была объединена с использованием метода сквозного слияния. Для создания этой модели использовалась следующая конфигурация YAML: Вот код, который я использовал для создания конфигурации и расчета количества слоев/параметров после прохождения:
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: mlabonne
Теги: llama, mergekit, merge, conversational, text-generation-inference, endpoints_compatible
Лайков: 82 | Загрузок: 15
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
