Найдите квантованные веса fp16 здесь: https://huggingface.co/bhenrym14/airoboros-33b-gpt4-1.4.1-lxctx-PI-16384-fp16. Это Airoboros 33B GPT4 1.4 Джона Дурбина (квантованный GPTQ 4 бита) с несколькими ключевыми модификациями: — Длина контекста увеличена до 16384 Масштабируемые встраивания RoPE. — Базовая модель Llama-33b предварительно обучена на дополнительные 100 шагов на последовательностях длиной 8192 из набора данных о сваях. — Использовался набор данных airoboros-gpt4-1.4.1 вместо airoboros-gpt4-1.4. Предварительная подготовка заняла 10 часов. Точная настройка заняла около 41 часа на одной видеокарте RTX 6000 Ada. Самый простой способ — использовать веса GPTQ (ссылки выше) с oobabooga text-generation-webui и ExLlama. Вам нужно будет установить для maxseqlen значение 16384, а для compressposemb — значение 8. ВАЖНО. Чтобы использовать эти веса с autoGPTQ или GPTQ-for-LLama, вам необходимо установить соответствующий модуль масштабирования RoPE. см.: replacellamaropwithscaledrope** У меня были проблемы с выходом за пределы 8192 токенов с exllama. На этой модели я этого не проверял. YMMV Недавние достижения в расширении контекста за счет масштабирования RoPE (kaiokendev и мета-ИИ) демонстрируют возможность расширения контекстного окна без (полного) переобучения. Мои предыдущие эксперименты выявили следующее: — Адаптер…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: bhenrym14
Теги: llama, endpoints_compatible
Лайков: 5 | Загрузок: 7
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
