— Разработчик: UsernameJustAnother — Лицензия: apache-2.0 — Точная настройка на основе модели: unsloth/Mistral-Nemo-Base-2407 Стандартное заявление об отказе от ответственности: это я обучаюсь основам тонкой настройки с примечаниями, в значительной степени заимствованными из MN-12B-Celeste-V1.9. Огромный респект компании Nothingisreal за то, что они опубликовали их процесс и заставили меня поверить, что это возможно даже для такой маленькой рыбки, как я. Цель здесь — создать надежную модель ролевой игры и написания историй, которая поместится в 16 ГБ видеопамяти с приличным объемом контекста (> 16 КБ). — Доработана база Немо вместо Инструкта, почему бы и нет? — БОЛЬШИЕ СИЛА КАХУНЫ: АКТИВИРУЙТЕ! 10 тысяч записей разговоров и историй, состоящих в основном из людей, обученных в ChatML, по сравнению с 8 тысячами в версии 6. Для всех этих записей я выполнил дополнительную фильтрацию/редактирование/выбор помимо того, что, по моему мнению, произошло в Celeste v1.9, в основном для того, чтобы научиться некоторым навыкам работы с наборами данных, плюс я добавил больше историй. В частности: — 4 КБ записей из Reddit Write Prompts (равное количество sfw и nfsw с самым высоким рейтингом) — 2 КБ инструкций Клода, слегка курируемых и деклаудированных — 2 КБ курируемых записей Falling Through the Skies — 2 КБ курируемых/слегка деминистеризированных чатов C2 — Обучение на одном 80 ГБ A100 от runpod.io с размером пакета 8 (вместо 2 на А100 40G), так что…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: UsernameJustAnother
Теги: mistral, text-generation-inference, unsloth, trl, rp, writing, experimental, long-context
Лайков: 4 | Загрузок: 16
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
