Полновесный, настроенный на две эпохи SlimOrca. Использует формат подсказок Mistral Instruct. Базовая модель была основана на вариации рецепта Mistral 11B от Undi. Тензоры oproj и downproj в добавленных слоях были установлены на ноль, что сделало выходные данные точно такими же, как у Mistral 7B перед обучением. ~Локальные тесты выглядят хорошо, но реальная полезность все равно оценивается.~ Обновление: получилось великолепно! 10/10 рекомендую в качестве метода обучения.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: chargoddard
Теги: mistral, en, model-index, text-generation-inference, endpoints_compatible
Лайков: 17 | Загрузок: 13
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
