— Разработчик: UsernameJustAnother — Лицензия: apache-2.0 — Точная настройка на основе модели: unsloth/Mistral-Nemo-Instruct-2407 Я ужасный лжец. Я наткнулся на другой набор данных, который мне пришлось использовать, и вот результат. Все еще экспериментально, поскольку я сделал их, чтобы научиться основам тонкой настройки, с примечаниями, широко заимствованными из https://huggingface.co/nothingiisreal/MN-12B-Celeste-V1.9. Это RP-тонкая настройка с использованием 10 801 созданного человеком разговора различной длины из различных источников, курируемого мной, обученного в формате ChatML. Большим отличием от Celeste является другой коэффициент масштабирования LoRA. Селеста использует 8; Я провел несколько тестов с этими данными, прежде чем пришел к выводу, что потери при обучении меньшие при использовании 2. Обучение заняло около 5 часов на одном Colab A100 (но я не выполнял цикл оценки). Отлично, что благодаря Unsloth мне удалось уместить все это в 40 ГБ видеопамяти. Эта мистральная модель была обучена в 2 раза быстрее с помощью библиотеки TRL от Unsloth и Huggingface.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: UsernameJustAnother
Теги: mistral, text-generation-inference, unsloth, trl, rp, gguf, experimental, long-context
Лайков: 5 | Загрузок: 57
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
