bhenrym14/airoboros-33b-gpt4-1.4.1-NTK-16384-GPTQ

Веса LoRA можно найти здесь: https://huggingface.co/bhenrym14/airoboros-33b-gpt4-1.4.1-NTK-16384-LoRA Веса fp16 можно найти здесь: https://huggingface.co/bhenrym14/airoboros-33b-gpt4-1.4.1-NTK-16384-fp16 Аналог с Техника интерполяции позиции RoPE (PI): https://huggingface.co/bhenrym14/airoboros-33b-gpt4-1.4.1-PI-8192-GPTQ Это Airoboros 33B GPT4 1.4 Джона Дурбина (объединенная модель с квантованием GPTQ) с несколькими ключевыми изменениями: — Длина контекста увеличена до 16384 с помощью NTK-Aware Scaled RoPE Встраивания, но НЕ через superHOT LoRA. Я начал с базы Лама-33б. — Для обучающих последовательностей после 2048 года целевое значение усекается до 2048. — Использовался набор данных airoboros-gpt4-1.4.1 вместо airoboros-gpt4-1.4 В противном случае я максимально точно имитировал процесс обучения (ранг 64 QLoRA). Он обучался на 1x RTX 6000 Ada в течение ~ 43 часов. Самый простой способ — использовать oobabooga text-generation-webui с ExLlama. Вам нужно будет установить для альфа-значения` значение 8. Недавние достижения в расширении контекста за счет масштабирования RoPE (kaiokendev, мета-ИИ)) и (тема Reddit) демонстрируют возможность расширения контекстного окна без (полного) переобучения. Точная настройка оказалась необходимой для правильной…

Модальности:
Генерация текста

Задача: Генерация текста
Автор: bhenrym14
Теги: llama, endpoints_compatible
Лайков: 7  |  Загрузок: 6

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.