Серия Magnum v4 завершена, но я хотел бы добавить еще кое-что, так как меня не полностью удовлетворили результаты v4 72B. «SE» for Special Edition — данная модель доработана из мета-ламы/Llama-3.3-70B-Instruct в качестве адаптера rsLoRA. Набор данных представляет собой слегка переработанный вариант данных версии 4, в который повторно введены некоторые элементы данных версии 2. Целью, как и в случае с другими моделями Magnum, является подражание стилю и качеству прозы серии моделей Claude 3 Sonnet/Opus в местном масштабе, поэтому не удивляйтесь, увидев «Клодизмы» в ее продукции. Вот адаптер rsLoRA для тех, кто занимается слиянием. Кванты Exl2 от MikeRoz, включая Measure.json, если вам нужно создать один с другим битрейтом: — 2,25 бит в секунду — 3,5 бит в минуту — 4,25 бит в минуту — 6,0 бит в секунду — 8,0 бит в секунду Эта модель соответствует формату подсказок Llama 3. Предварительное заполнение не является обязательным, но рекомендуется в настройках ролевой игры — поиграйтесь с ним и найдите свои предпочтения. Типичный ввод будет выглядеть так: Многие библиотеки вывода имеют возможность автоматически добавлять токен BOS. Обратите внимание, что я включил примеры диалогов в виде блока в строку истории, поэтому вам следует установить набор примеров поведения чата…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: DS-Archive
Теги: llama, axolotl, chat, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 17 | Загрузок: 33
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
