!image/png Это восьмая модель в серии, призванной воспроизвести прозаическое качество моделей Claude 3, в частности Sonnet и Opus. Эта модель доработана поверх IntervitensInc/Llama-3.1-Minitron-4B-Width-Base-chatml. Модель была настроена с учетом форматирования ChatML. Типичный ввод будет выглядеть так: Поддержка Upstream была объединена, поэтому эти кванты теперь работают «из коробки»! Чтобы выполнить вывод для этой модели, вам потребуется использовать Aphrodite, vLLM или EXL2/tabbyAPI, поскольку llama.cpp еще не объединил необходимый запрос на включение, чтобы исправить проблему llama3.1rop_freqs с нестандартными размерами головы. Однако это можно обойти, самостоятельно квантовав модель и создав функциональный файл GGUF. Обратите внимание, что до тех пор, пока этот PR не будет объединен, контекст будет ограничен 8 тысячами токенов. Чтобы создать рабочий файл GGUF, внесите следующие изменения: 1. Удалите запись «ropescaling»: {} из config.json 2. Измените «maxpositionembeddings» на 8192 в config.json` Эти изменения должны позволить вам использовать модель с llama.cpp, хотя и с упомянутым ограничением контекста. — anthracite-org/Stheno-Data-Filtered — anthracite-org/kalo-opus-instruct-22k-no-refusal -…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: anthracite-org
Теги: gguf, chat, en, endpoints_compatible, imatrix, conversational
Лайков: 8 | Загрузок: 47
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
