Эта модель создана путем тонкой настройки EleutherAI/pythia-2.8b-deduped на паре Dahoas/synthetic-instruct-gptj-. — Точная настройка: Lambda — Тип модели: Языковая модель на основе трансформатора — Язык: английский — Предварительно обученная модель: EleutherAI/pythia-2.8b-deduped — Набор данных: Dahoas/synthetic-instruct-gptj-pairwise — Библиотека: трансформаторы — Лицензия: Apache 2.0 Модель была обучена на Dahoas/synthetic-instruct-gptj-pairwise. Мы разделили исходный набор данных на подмножества поезда (первые 32000 примеров) и проверки (оставшиеся 1144 примера). Мы настраиваем модель на 4 эпохи. Это заняло 8xA100 80 ГБ 5 часов, при этом мы установили пакетный размер pergpu равным 2 (таким образом, глобальный размер пакета равен 16), а скорость обучения — 0,00001` (с линейным затуханием до нуля на последнем этапе обучения). Вы можете найти запись о весах и смещениях здесь.
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: lambda
Теги: gpt_neox, causal-lm, pythia, en, text-generation-inference, endpoints_compatible
Лайков: 5 | Загрузок: 19
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
