Квантование GGUF Doctor-Shotgun/ML2-123B-Magnum-Diamond с использованием llama.cpp. Эта модель соответствует формату подсказок Mistral v7 (не Tekken). Предварительное заполнение не является обязательным — поэкспериментируйте с ним и найдите свои предпочтения. Типичный ввод будет выглядеть так: Многие библиотеки вывода имеют возможность автоматически добавлять токен BOS. Обратите внимание, что я включил примеры диалогов в виде блока в строку истории, поэтому вам следует установить для примера поведения чата значение «Никогда не включать примеры» на вкладке настроек, если вы хотите использовать мою предустановку. Настройте по своему вкусу или используйте любую другую предустановку, совместимую с Mistral v7, которую вы предпочитаете. Префилл (префикс последнего помощника) можно изменить по своему вкусу. Вычисления оплачены из вашего покорного кошелька, Доктор Шотган. Спасибо PocketDoc за продвинутую стратегию создания подсказок, а также Delta-Vector и intervitens за помощь в экспериментах над ней. Спасибо Грифу за его советы по обучению rsLoRA, основанные на его опыте обучения собственных отличных моделей. Спасибо Sao10K за вдохновение серии Magnum своей линейкой моделей Euryale. Своей неустанной работой он продемонстрировал, что официальные модели, настроенные по инструкции, можно сделать забавными и интересными с ограниченными возможностями…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Doctor-Shotgun
Теги: gguf, chat, en, endpoints_compatible, imatrix, conversational
Лайков: 6 | Загрузок: 330
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
