Веса LoRA можно найти здесь: https://huggingface.co/bhenrym14/airoboros-33b-gpt4-1.4.1-PI-8192-LoRA. Веса fp16 можно найти здесь: https://huggingface.co/bhenrym14/airoboros-33b-gpt4-1.4.1-PI-8192-fp16. Это Джон. Airoboros 33B GPT4 1.4 Дурбина (объединенная модель с квантованием GPTQ) с несколькими ключевыми модификациями: — Длина контекста увеличена до 8192 с помощью масштабируемых встраиваний RoPE, но НЕ через superHOT LoRA. Я начал с базы Лама-33б. — Для обучающих последовательностей после 2048 года целевое значение усекается до 2048. — Использовался набор данных airoboros-gpt4-1.4.1 вместо airoboros-gpt4-1.4 В противном случае я максимально точно имитировал процесс обучения (ранг 64 QLoRA). Он обучался на 1x RTX 6000 Ada в течение ~ 43 часов. Самый простой способ — использовать oobabooga text-generation-webui с ExLlama. Вам нужно будет установить для maxseqlen значение 8192, а для compressposemb — значение 4. Последние достижения в расширении контекста за счет масштабирования RoPE (kaiokendev и мета-ИИ) демонстрируют возможность расширения контекстного окна без (полного) переобучения. Точная настройка оказалась необходимой для правильного использования более длинного контекста. SuperHOT LoRA — это адаптер, настроенный на более длинный контекст (8192 токена); даже применительно к…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: bhenrym14
Теги: llama, endpoints_compatible
Лайков: 14 | Загрузок: 87
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
