Представляем SauerkrautLM-Phi-3-medium – нашу версию мощного неленивца/Phi-3-medium-4k-instruct из квашеной капусты! — Согласовано с DPO с использованием Spectrum QLoRA (Эрик Хартфорд, Лукас Аткинс, Фернандо Фернандес Нето и Дэвид Гольчинфар), нацеленное на 50% слоев. 1. Обзор всей квашеной капустыLM-Phi-3-medium 2. Подробности модели — процедура обучения 3. Оценка 5. Отказ от ответственности 6. Контакты 7. Сотрудничество 8. Благодарность unsloth/Phi-3-medium-4k-instruct — Язык(и): немецкий, английский — Лицензия: MIT — Контактное лицо: VAGO Solutions — Мы обучили эту модель с помощью Spectrum QLoRA DPO Fine-Tuning для 1 эпохи с 70 тыс. выборок, нацеленных на 50% слоев с высокой скоростью обучения 5e-04. Такая относительно высокая скорость обучения стала возможной благодаря выборочному выбору слоев; если бы мы применили эту скорость ко всем слоям, градиенты были бы взорваны. Эпохи: 1 Размер данных: 70 000 выборок Целевые слои: 50% Скорость обучения: 5e-04 Коэффициент прогрева: 0,03 Стратегия выбора только половины слоев также позволила нам использовать очень низкий коэффициент прогрева 0,03, что способствовало общей стабильности точной настройки…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: VAGOsolutions
Теги: mistral, conversational, de, en, text-generation-inference, endpoints_compatible
Лайков: 9 | Загрузок: 8,296
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
