После множества положительных отзывов о Progenitor V1.1 я получил несколько советов относительно нескольких настроек, которые я мог бы настроить для получения, надеюсь, лучших результатов. В основном меняют токенизатор и позволяют слиянию вычисляться с полным числом float32 перед масштабированием до bfloat16 (спасибо kromeurus). Версия 2.1 не совсем соответствовала стандарту, установленному в версии 1.1, поэтому, внеся еще несколько изменений, я сделал версию 2.2, которая, как мне кажется, немного улучшилась по сравнению с выдающейся версией 1.1 и, следовательно, является истинным преемником. Это объединение предварительно обученных языковых моделей, созданных с помощью mergekit. Эта модель была объединена с использованием метода линейного слияния DELLA с использованием nbeerbower/Llama-3.1-Nemotron-lorablated-70B в качестве основы. В объединение были включены следующие модели: TheDrummer/Anubis-70B-v1 EVA-UNIT-01/EVA-LLaMA-3.33-70B-v0.1 Sao10K/70B-L3.3-Cirrus-x1 SicariusSicariiStuff/NegativeLLAMA70B * Sao10K/L3.1-70B-Hanami-x1 Для создания этой модели использовалась конфигурация YAML:
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Tarek07
Теги: llama, mergekit, merge, conversational, text-generation-inference, endpoints_compatible
Лайков: 8 | Загрузок: 4
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
