Granite-3.0-8b-lab-community — это первый релиз в нашей серии открыто воспроизводимых моделей, созданных сообществом. Все модели с тегом сообщества будут иметь: — Общедоступную базовую модель, используемую в качестве учащегося в процессе LAB. — Все используемые данные общедоступны / сгенерированы благодаря вкладу сообщества. — Воспроизводимый метод создания модели с открытым исходным кодом. Инструкции и команды для воспроизведения процесса построения модели можно найти здесь LAB: Крупномасштабное выравнивание для чат-ботов — это новый метод настройки выравнивания на основе синтетических данных для LLM от IBM Research. Granite-3.0-8b-lab-community — это производная модель на базе Granite-3.0-8b, обученная по методологии LAB с использованием Mixtral-8x7b-Instruct в качестве модели преподавателя. 1. Процесс курирования данных на основе таксономии. 2. Крупномасштабный генератор синтетических данных. 3. Двухфазное обучение с буферами воспроизведения. Подход LAB позволяет постепенно добавлять новые знания и навыки к уже предварительно обученной модели, не страдая от катастрофического забывания. Таксономия — это дерево исходных примеров, которые используются, чтобы побудить модель учителя генерировать синтетические данные. Таксономия позволяет куратору данных или разработчику модели легко указать разнообразный набор…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: instructlab
Теги: granite, ibm, lab, labrador, community, redhat, instructlab, conversational
Лайков: 6 | Загрузок: 12
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
