Загрузка модели Airoboros-13B-SuperHOT в 4-битной версии GPTQ, преобразованной с использованием GPTQ-for-LLaMa; Исходная модель с https://huggingface.co/Peepy/Airoboros-13b-SuperHOT-8k. Для использования контекста 8k вам понадобится патч обезьяны при выводе, см. имеющийся файл патча. Если вы используете другой механизм вывода (например, llama.cpp / exllama), вам нужно будет добавить туда патч обезьяны. Файл патча присутствует в репозитории или доступен здесь: https://huggingface.co/kaiokendev/superhot-13b-8k-no-rlhf-test/raw/main/llamaropescaledmonkeypatch.py
Модальности:
Генерация текста
Задача: Генерация текста
Автор: flashvenom
Теги: llama, endpoints_compatible
Лайков: 6 | Загрузок: 6
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.