Чат и поддержка: мой новый сервер Discord Хотите внести свой вклад? Страница TheBloke на Patreon. Это файлы моделей GGML для слияния TehVenom Pygmalion 7B с SuperHOT 8K Кайо Кена. Это SuperHOT GGML с увеличенной длиной контекста. SuperHOT — это новая система, которая использует RoPE для расширения контекста за пределы того, что изначально было возможно для модели. Он был обнаружен и разработан kaiokendev. Чтобы использовать увеличенную длину контекста, в настоящее время вы можете использовать: * KoboldCpp — версия 1.33 или новее. Ожидается также поддержка llama.cpp, однако работа по поиску оптимальной реализации еще ведется. Чтобы использовать расширенный контекст с KoboldCpp, просто используйте —contextsize для установки желаемого контекста, например —contextsize 4096 или —contextsize 8192. 4-битные модели GPTQ для вывода графического процессора. 2, 3, 4, 5, 6 и 8-битные модели GGML для вывода ЦП. Неквантованная модель SuperHOT fp16 в формате pytorch, для вывода графического процессора и для дальнейших преобразований. Неквантованный. базовая модель fp16 в формате pytorch для вывода графического процессора и дальнейших преобразований. Эти GGML будут работать с любым клиентом GGML, совместимым с llama.cpp, который поддерживает k-кванты. Однако увеличенная длина контекста не будет работать без…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: TheBloke
Теги: text generation, conversational, en
Лайков: 13 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
