— Разработчик: UsernameJustAnother — Лицензия: apache-2.0 — Точная настройка на основе модели: unsloth/Mistral-Nemo-Instruct-2407 Стандартное заявление об отказе от ответственности: Это я обучаюсь основам тонкой настройки, с примечаниями, широко заимствованными из https://huggingface.co/nothingiisreal/MN-12B-Celeste-V1.9 Новое для v6: — Немного другой исходный микс. До 8000 записей бесед и историй, в основном состоящих из людей, курируемых мной, прошедших обучение в ChatML. — Истории были отредактированы, чтобы удалить примечания автора, а чаты RP изменены для удаления многих служений. — Другая скорость обучения и возвращение к настройке коэффициента масштабирования Селесты (но Селеста тренировалась на -base, это -instruct). — Теперь с добавленной оценкой! Я придумал, как настроить статистику eval (и wandb), так что теперь могу видеть свои неудачи в графической форме. Я отказался от версии 7, потому что, честно говоря, я не думаю, что она так же хороша, как версия 6, и не хочу, чтобы у людей сложилось неправильное представление о том, что она лучше только потому, что номер версии выше. И, конечно же, ура Unsloth за то, что позволил всему этому обучаться на одном A100 с переменной (широко изменяющейся) длиной контекста. Вот как выглядела потеря поезда/оценки (eval — оранжевый, поезд — синий). Я думаю это не страшно, но :shrug:. Этот Мистраль…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: UsernameJustAnother
Теги: mistral, text-generation-inference, unsloth, trl, rp, gguf, experimental, long-context
Лайков: 4 | Загрузок: 9
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
