Aira-2 — это вторая версия серии моделей Aira, настроенных на выполнение инструкций. Aira-2-355M — это модель, оптимизированная для выполнения инструкций и основанная на GPT-2. Модель была обучена на наборе данных, состоящем из промптов и ответов, сгенерированных синтетически путем подачи промптов уже обученным моделям (ChatGPT, Llama, Open-Assistant и т. д.). — Размер: 354 825 216 параметров — Набор данных: Instruct-Aira Dataset — Язык: английский — Количество эпох: 3 — Размер пакета: 16 — Оптимизатор: torch.optim.AdamW (warmupsteps = 1e2, learningrate = 5e-4, epsilon = 1e-8) — GPU: 1 NVIDIA A100-SXM4-40GB — Выбросы: 0,29 кг CO2 (Соединенные Штаты Америки) — Общее потребление энергии: 0,83 кВт⋅ч В этом репозитории содержится исходный код, использованный для обучения этой модели. Для обозначения стороны пользователя в процессе взаимодействия и ответа модели используются три специальных токена: Что такое языковая модель?Языковая модель — это распределение вероятностей по словарю. — Галлюцинации: эта модель может генерировать контент, который можно принять за правду, но который на самом деле является вводящим в заблуждение или полностью ложным, то есть галлюцинацией. — Предвзятость и токсичность: эта модель наследует социальные и исторические стереотипы из данных, использованных для ее обучения. Учитывая эти предубеждения, модель может генерировать токсичный контент, то есть…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: nicholasKluge
Теги: gpt2, alignment, instruction tuned, text generation, conversation, assistant, en, co2_eq_emissions
Лайков: 2 | Загрузок: 206
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
