Эта модель создана путем точной настройки EleutherAI/pythia-6.9b-deduped на Dahoas/synthetic-instruct-gptj-pair. — Точная настройка: Lambda — Тип модели: Языковая модель на основе трансформатора — Язык: английский — Предварительно обученная модель: EleutherAI/pythia-6.9b-deduped — Набор данных: Dahoas/synthetic-instruct-gptj-pairwise — Библиотека: трансформаторы — Лицензия: Apache 2.0 Модель была обучена на Dahoas/synthetic-instruct-gptj-pairwise. Мы разделили исходный набор данных на подмножества поезда (первые 32 000 примеров) и проверки (оставшиеся 1 144 примера). Настраиваем модель на 4 эпохи с помощью deepspeed. Это заняло 8xA100 80 ГБ 6 часов, при этом мы установили пакетный размер pergpu равным 8 (таким образом, глобальный размер пакета равен 64), а скорость обучения — 0,000005` (с линейным затуханием до нуля на последнем этапе обучения). Вы можете найти запись о весах и смещениях здесь.
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: lambda
Теги: gpt_neox, causal-lm, pythia, en, text-generation-inference, endpoints_compatible
Лайков: 4 | Загрузок: 22
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
