Использование PruneMe для определения минимального среднего расстояния. Спасибо за потрясающий инструментарий @arcee-ai! Это показывает, что обрезка слоя 22-30 является лучшим вариантом, но я беспокоюсь о резких изменениях между 22 и 23. Я не проводил никакого пост-тренинга (называемого процессом «исцеления», как предлагается в статье), сделаю это позже, но никаких гарантий. Это объединение предварительно обученных языковых моделей, созданных с помощью mergekit. В объединение были включены следующие модели: * Meta-llama/Meta-Llama-3-8B-Instruct Для создания этой модели использовалась следующая конфигурация YAML:
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: kuotient
Теги: llama, mergekit, merge, conversational, text-generation-inference, endpoints_compatible
Лайков: 6 | Загрузок: 13
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
