Это экспериментальная версия модели Facebook OPT-350M, оптимизированная для диалога, которая будет использоваться в качестве трамплина для моделей с более высокими параметрами. Отказ от ответственности: данные NSFW были включены в тонкую настройку этой модели. Хотя входные данные SFW обычно приводят к выходным данным SFW, вам рекомендуется общаться в чате на свой страх и риск. Эта модель не предназначена для использования несовершеннолетними. Мы использовали библиотеку ColossalAI для точной настройки модели OPT-350M, первоначально обученной Facebook на The Pile. Хотя наш первоначальный набор данных представлял собой наборы диалогов, собранных из различных источников, общим размером около 50 МБ, ранние прогоны обучения показали, что модель сходилась после того, как было передано только 7% набора данных. Чтобы решить эту проблему, мы значительно уменьшили размер набора данных до 273 КБ. Магия ColossalAI позволила сделать нечто невероятное: вся эта модель была настроена на единственном графическом процессоре всего с 6 ГБ (!) видеопамяти. Точная настройка заняла меньше часа.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: PygmalionAI
Теги: opt, convAI, conversational, en, text-generation-inference
Лайков: 54 | Загрузок: 927
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
