Продолжение моего оригинального эксперимента со слиянием градиентов в Llama 2 с использованием следующего сценария. Три его модели (Гермес, Хронос и Аэроборос) на этот раз разделены по слоистой структуре почти поровну. Airoboros был «подстановочной моделью» из-за его превосходной способности понимать сложные инструкции. Квантованные модели доступны на сайте TheBloke: GGML — GPTQ (Ты лучший!) Как и раньше, основной целью было создание универсальной модели с улучшенными возможностями ролевой игры. MythoLogic-L2 отличается от своего предшественника тем, что ориентирован в первую очередь на понимание инструкций и особенностей сложных карточек персонажей. Ниже показаны градиенты, используемые для этого конкретного рецепта L2: верхняя часть изображения представляет слой 0, а нижний слой 40. Эта модель в основном использует (и тщательно тестировалась) форматирование Alpaca, поэтому для оптимальной производительности модели используйте:
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Gryphe
Теги: llama, en, text-generation-inference, endpoints_compatible
Лайков: 24 | Загрузок: 1,021
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
