> [!NOTE] > Формат Альпака, как правило, работает, но я рекомендую попробовать мои предустановленные настройки SillyTavern и книгу правил для достижения наилучших результатов. Подробности см. в разделе «Как запустить» ниже. Модель имеет контекстное ограничение в 32 тыс. токенов. Однако качество ответов любой модели малого и среднего размера начинает снижаться после 16 тыс. токенов, а после 21 тыс. токенов деградация происходит более быстро. Я рекомендую использовать максимум 21 тыс. токенов для оптимальной производительности. > [!WARNING] >- 4.2bpw-exl2 >- 4.2bpw-v2-exl2 (выходной слой lm_head при 8 bpw + набор данных eaddario/imatrix-калибровки) >- 6.5bpw-exl2 >- 8bpw-exl2 > [!WARNING] >- Casual-Autopsy imat GGUF >- Просмотреть все >- gguf-my-repo Для GGUF — просто скачайте KoboldCpp. Установите количество слоев графического процессора на 33 (зависит от видеопамяти/кванта модели), контекст на 20 КБ + флэш-внимание + 4-битный KV-кэш + низкий объем видеопамяти, если у вас только 6 ГБ видеопамяти, и все готово. Теперь возьмите последнюю версию правил и форматирования для ST отсюда (используйте ее для установки ST, если вы еще этого не сделали) 1. Первый и второй шаг -> 2. Импортируйте эти файлы в ST и выберите их. В Активном Мире(ах) для всех чатов установлены правила лорбука. 3. Если вы используете источник векторизации, установите для правил значение «Векторизация». 4. Установите Начать ответ…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: icefog72
Теги: mistral, mergekit, merge, alpaca, not-for-all-audiences, nsfw, conversational, text-generation-inference
Лайков: 10 | Загрузок: 5
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
