flashvenom/Airoboros-13B-SuperHOT-8K-4bit-GPTQ - Каталог нейросетей
Генерация текста

flashvenom/Airoboros-13B-SuperHOT-8K-4bit-GPTQ

Добавлено:
flashvenom/Airoboros-13B-SuperHOT-8K-4bit-GPTQ

Загрузка модели Airoboros-13B-SuperHOT в 4-битной версии GPTQ, преобразованной с использованием GPTQ-for-LLaMa; Исходная модель с https://huggingface.co/Peepy/Airoboros-13b-SuperHOT-8k. Для использования контекста 8k вам понадобится патч обезьяны при выводе, см. имеющийся файл патча. Если вы используете другой механизм вывода (например, llama.cpp / exllama), вам нужно будет добавить туда патч обезьяны. Файл патча присутствует в репозитории или доступен здесь: https://huggingface.co/kaiokendev/superhot-13b-8k-no-rlhf-test/raw/main/llamaropescaledmonkeypatch.py

Модальности:
Генерация текста


Задача: Генерация текста
Автор: flashvenom
Теги: llama, endpoints_compatible
Лайков: 6  |  Загрузок: 6

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.