Параметры обучения SFT: + Скорость обучения: 2e-4 + Размер пакета: 8 + Шаги накопления градиента: 4 + Набор данных: teknium/OpenHermes-2.5 (разделение 200 тыс. содержит небольшой уклон в сторону rp и теории жизни) + r: 16 + Lora Alpha: 16 — Разработано: macadeliccc — Лицензия: apache-2.0 — Доработано на основе модели: alpindale/Mistral-7B-v0.2 Эта модель мистраля была обучена в 2 раза быстрее с помощью библиотеки TRL Unsloth и Huggingface.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: macadeliccc
Теги: mistral, text-generation-inference, unsloth, trl, sft, conversational, en, endpoints_compatible
Лайков: 12 | Загрузок: 13
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.