Это переобучение Dolphin-2.5/2.6 с исправлениями в библиотеке трансформеров, чтобы проверить, будет ли он работать лучше. Этот Дельфин действительно хорош в кодировании, я тренировался на большом количестве данных по кодированию. Он очень послушен, но не настроен на DPO, поэтому вам все равно может потребоваться активировать его в системной подсказке, как показано в примерах ниже. Новое в версии 2.7 — переобучено с некоторыми исправлениями, специфичными для микстрала, в библиотеке трансформаторов и с размороженным слоем гейта, чтобы посмотреть, решит ли это проблемы с низкой производительностью. Новое в версии 2.6 — Исправлена проблема с конфигурацией обучения, которая значительно улучшила качество. — По многочисленным просьбам снова добавлены данные эмпатии на основе саманты. — Синтия и чистый голубь заменены на капибару. Эта модель не прошла цензуру. Я отфильтровал набор данных, чтобы удалить выравнивание и предвзятость. Это делает модель более совместимой. Прежде чем предоставлять модель как услугу, рекомендуется реализовать собственный уровень выравнивания. Он будет в высшей степени отзывчив на любые просьбы, даже неэтичные. Пожалуйста, прочитайте мой пост в блоге о моделях без цензуры. https://erichartford.com/uncensored-models Вы несете ответственность за любой контент, который вы создаете с использованием этой модели. Наслаждайтесь ответственно. Обучение 1,5 эпох на 4х А100 заняло 3 дня с использованием…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: dphn
Теги: mixtral, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 170 | Загрузок: 253
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
