ОБНОВЛЕНИЕ 14 августа: я изменил config.json, включив в него соответствующую спецификацию масштабирования RoPE. Эта модель теперь должна работать с новыми Трансформерами без применения каких-либо патчей. Квантованные веса GPTQ можно найти здесь: https://huggingface.co/bhenrym14/airoboros-33b-gpt4-1.4.1-lxctx-PI-16384-GPTQ. Это Airoboros 33B GPT4 1.4 (fp16) Джона Дурбина с несколькими ключевыми модификациями: — Длина контекста увеличена до 16384 с помощью RoPE Scaled. Вложения. — Базовая модель Llama-33b предварительно обучена на дополнительные 100 шагов на последовательностях длиной 8192 из набора данных о сваях. — Использовался набор данных airoboros-gpt4-1.4.1 вместо airoboros-gpt4-1.4. Предварительная подготовка заняла 10 часов. Точная настройка заняла около 41 часа на одной видеокарте RTX 6000 Ada. Самый простой способ — использовать веса GPTQ (ссылки выше) с oobabooga text-generation-webui и ExLlama. Вам нужно будет установить для maxseqlen значение 16384 и для compressposemb значение 8. В противном случае используйте модуль преобразователей. ОБНОВЛЕНИЕ 14 августа: я изменил config.json, включив в него соответствующую спецификацию масштабирования RoPE. Эта модель теперь должна работать с новыми Трансформерами без применения каких-либо патчей. Если вы используете старую версию Transformers, вам потребуется установить соответствующий модуль масштабирования RoPE. видеть:…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: bhenrym14
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 4 | Загрузок: 93
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
