Веса LoRA можно найти здесь: https://huggingface.co/bhenrym14/airoboros-33b-gpt4-1.4.1-PI-8192-LoRA Квантованные веса GPTQ можно найти здесь: https://huggingface.co/bhenrym14/airoboros-33b-gpt4-1.4.1-PI-8192-GPTQ. Это Джон. Airoboros 33B GPT4 1.4 Дурбина (объединенная модель — веса fp16) с несколькими ключевыми модификациями: — Длина контекста увеличена до 8192 с помощью масштабируемых встраиваний RoPE, но НЕ через superHOT LoRA. Я начал с базы Лама-33б. — Целевое значение обучающих последовательностей после 2048 года усекается до 2048. — Использовался набор данных airoboros-gpt4-1.4.1 вместо airoboros-gpt4-1.4 В противном случае я максимально точно имитировал процесс обучения (ранг 64 QLoRA). Он обучался на 1x RTX 6000 Ada в течение ~ 43 часов. Самый простой способ — использовать веса GPTQ (ссылки выше) с oobabooga text-generation-webui и ExLlama. Вам нужно будет установить для maxseqlen значение 8192 и для compressposemb значение 4. ВАЖНО: Чтобы использовать эти веса, вам необходимо установить соответствующий модуль масштабирования RoPE. см.: replacellamaropwithscaledrope** Недавние достижения в расширении контекста за счет масштабирования RoPE (kaiokendev и мета-ИИ)) демонстрируют возможность расширения контекстного окна без (полного) переобучения. Точная настройка имеет…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: bhenrym14
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 4 | Загрузок: 104
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
