Этот репозиторий содержит контрольные точки модели и токенизатора для: — семейства моделей mistralai/Mistral-7B-Instruct-v0.2 — оптимизировано с потерей KTO — выровнено с использованием набора данных snorkelai/Snorkel-Mistral-PairRM-DPO-Dataset — посредством 3 итераций KTO в одной эпохе каждого обучающего раздела, причем модель каждой предыдущей итерации служит ссылкой для последующей. [06.03.2024]: Мы занимаем второе место в (проверенной) таблице лидеров Alpaca Eval 2.0 с результатом 33,23! Чтобы запросить эту модель, убедитесь, что формат соответствует формату TuluV2. Например, приглашение должно быть отформатировано следующим образом, где соответствует роли человека и соответствует роли LLM. Первым должен говорить человек: обратите внимание, что токен начала последовательности (BOS) автоматически добавляется во время токенизации, и вам не обязательно добавлять его. В приглашение не добавляется токен конца последовательности (EOS). Вы также можете использовать шаблон applychat нашего токенизатора, если делаете вывод с помощью набора Chatml или оцениваете генерации через нелокальные клиенты.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: ContextualAI
Теги: mistral, human feedback, rlhf, preferences, alignment, HALO, halos, dpo
Лайков: 32 | Загрузок: 117
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
