AALF/gemma-2-27b-it-SimPO-37K-100steps — это контрольная точка AALF/gemma-2-27b-it-SimPO-37K, состоящая из 100 шагов. Сначала мы следовали платформе SimPO, чтобы применить генерацию данных о предпочтениях в соответствии с политикой к набору данных HuggingFaceH4/ultrafeedback_binarized, используя модель google/gemma-2-27b-it, используя RLHFlow/ArmoRM-Llama3-8B-v0.1 в качестве модели вознаграждения для аннотирования ответов. Затем мы выбрали подсказки, в которых выбранное вознаграждение было как минимум на 0,01 выше, чем отклоненное вознаграждение, в результате чего было получено 37 040 точек обучающих данных. Обучение модели проводилось с использованием графических процессоров 8x80G A800 с использованием SimPO и библиотеки справочников по выравниванию. Мы использовали deepspeedzerostage3 с разгрузкой оптимизатора на процессор. Конфигурации обучения были следующими: Конфигурация генерации: https://github.com/tatsu-lab/alpacaeval/blob/main/src/alpacaeval/models_configs/gemma-2-9b-it-WPO-HB/configs.yaml. Выходные данные модели: аннотация AALF/gemma-2-27b-it-SimPO-37K-100steps/model_outputs.json. файл: AALF/gemma-2-27b-it-SimPO-37K-100steps/annotations.json
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: AALF
Теги: gemma2, alignment-handbook, generated_from_trainer, conversational, text-generation-inference, endpoints_compatible
Лайков: 12 | Загрузок: 15
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
