Это модель Airoboros 7B GPT4 1.4 (квантование GPTQ) Джона Дурбина с несколькими ключевыми изменениями: — Длина контекста увеличена до 16384 с помощью масштабированных эмбеддингов RoPE. — Базовая модель Llama-7b прошла предварительное обучение в течение дополнительных 150 шагов на последовательностях длиной 16 384 для набора данных Pile. — Во время донастройки целевое значение последовательностей обучения, превышающих 2048, усекается до 2048. — Вместо набора данных airoboros-gpt4-1.4 использовался набор данных airoboros-gpt4-1.4.1. Это дообучение с использованием QLoRA. Предварительное обучение и дообучение заняли примерно по 8 часов на 1 видеокарте RTX 6000 Ada. Для контекста, превышающего 8192 токена, НЕ используйте exllama. Похоже, что AutoGPTQ работает. ОБЯЗАТЕЛЬНО: вам нужно будет установить патч для соответствующего модуля масштабирования RoPE. См.: replacellamaropewithscaledrope. Вам нужно будет где-нибудь в ooba вызвать replacellamaropewithscaledrope. Вызов этой функции в верхней части модуля обучения после импорта работает у меня. Надеюсь, что для exllama найдется быстрое решение, которое позволит в ближайшее время обеспечить работу с контекстом >8 тыс. Недавние достижения в области расширения контекста с помощью масштабирования RoPE (kaiokendev и meta AI) демонстрируют возможность расширения окна контекста без (полного) переобучения. Доказано, что для правильного использования более длинного контекста необходима точная настройка. Здесь я пытаюсь…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: bhenrym14
Теги: llama, endpoints_compatible
Лайков: 2 | Загрузок: 12
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
