[**] Числа взяты из lmsys/chatbot-arena-leaderboard. [^] Среднее значение за 4 запуска. Лабораторная работа: крупномасштабное выравнивание для чат-ботов — это новый метод настройки выравнивания на основе синтетических данных для LLM от IBM Research. Лабрадорит-13b — это модель, производная от LLaMA-2-13b, обученная по методологии LAB с использованием Mixtral-8x7b-Instruct в качестве модели учителя. 1. Процесс курирования данных на основе таксономии. 2. Крупномасштабный генератор синтетических данных. 3. Двухфазное обучение с буферами воспроизведения. Подход LAB позволяет постепенно добавлять новые знания и навыки к уже предварительно обученной модели, не страдая от катастрофического забывания. Таксономия — это дерево исходных примеров, которые используются, чтобы побудить модель учителя генерировать синтетические данные; поддерево навыка «письмо» показано на рисунке ниже. Таксономия позволяет куратору данных или разработчику модели легко указать разнообразный набор областей знаний и навыков, которые они хотели бы включить в свой LLM. На высоком уровне их можно разделить на три категории: знания, базовые навыки и навыки композиции. Листовые узлы таксономии — это задачи, связанные с одним или несколькими исходными примерами. Во время…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: ibm-research
Теги: llama, labradorite, llama-2, ibm, lab, labrador, merlinite, en
Лайков: 75 | Загрузок: 10
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
