Весовые коэффициенты LoRA можно найти здесь: https://huggingface.co/bhenrym14/airoboros-13b-gpt4-1.4.1-PI-8192-LoRA fp16 весовые коэффициенты можно найти здесь: https://huggingface.co/bhenrym14/airoboros-13b-gpt4-1.4.1-PI-8192-fp16 Это Airoboros 13B GPT4 1.4 Джона Дурбина (объединенная модель с квантованием GPTQ) с несколькими ключевыми модификациями: — Длина контекста, увеличенная до 8192 с помощью масштабированных вложений RoPE, но НЕ с помощью superHOT LoRA. Я начал с базы Llama-13b. — Последовательности обучения после 2048 года имеют усеченную цель, равную 2048. — Использован набор данных airoboros-gpt4-1.4.1 вместо airoboros-gpt4-1.4 — Это тонкая настройка QLoRA. Оригинальная модель 13b — это полная тонкая настройка. Самый простой способ — использовать oobabooga text-generation-webui с ExLlama. Вам нужно будет установить maxseqlen на 8192 и compressposemb на 4. Если вы хотите вместо этого использовать AutoGPTQ/GPTQ-for-Llama, вам нужно будет установить патч в соответствующем модуле масштабирования RoPE. см.: replacellamaropewithscaled_rope Недавние достижения в расширении контекста с помощью масштабирования RoPE (kaiokendev и meta AI)) демонстрируют возможность расширения контекстного окна без (общей) переподготовки. Тонкая настройка показала, что она необходима для правильного использования более длинного контекста. SuperHOT LoRA…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: bhenrym14
Теги: llama, endpoints_compatible
Лайков: 3 | Загрузок: 10
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
