[*] Номера для моделей, отличных от Merlinite-7b и Labradorite-13b (наша), взяты из lmsys/chatbot-arena-leaderboard LAB: Крупномасштабное выравнивание для чат-ботов — это новый метод настройки выравнивания на основе синтетических данных для LLM от IBM Research. Merlinite-7b — это модель, производная от Mistral-7b, обученная по методологии LAB с использованием Mixtral-8x7b-Instruct в качестве модели учителя. 1. Процесс курирования данных на основе таксономии. 2. Крупномасштабный генератор синтетических данных. 3. Двухфазное обучение с буферами воспроизведения. Подход LAB позволяет постепенно добавлять новые знания и навыки к уже предварительно обученной модели, не страдая от катастрофического забывания. Таксономия — это дерево исходных примеров, которые используются, чтобы побудить модель учителя генерировать синтетические данные. Таксономия позволяет куратору данных или разработчику модели легко указать разнообразный набор областей знаний и навыков, которые они хотели бы включить в свой LLM. На высоком уровне их можно разделить на три категории: знания, базовые навыки и навыки композиции. Листовые узлы таксономии — это задачи, связанные с одним или несколькими исходными примерами. При генерации синтетических данных, в отличие от…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: ibm-research
Теги: mistral, merlinite, ibm, lab, labrador, labradorite, en, text-generation-inference
Лайков: 105 | Загрузок: 164
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
