Эта модель представляет собой доработанную версию openchat/openchat3.5 на наборе данных с открытым исходным кодом HuggingFaceH4/norobots с использованием рецептов, опубликованных в The Alignment Handbook. rishiraj/smol-7b проходил обучение с 1 по 3 декабря 2023 года. Он добился следующих результатов на OpenLLMLeaderboard. На момент выпуска smol-7b является моделью чата 7B с самым высоким рейтингом в тесте MMLU Benchmark. Вот как можно запустить модель с помощью функции конвейера() из 🤗 Трансформаторов: Во время обучения использовались следующие гиперпараметры: — скорость обучения: 2e-05 — размер обучающей партии: 4 — размер evalbatchsize: 8 — начальное число: 42 — распределенный тип: multi-GPU — градиентное накопление шагов: 128 — общий размер поезда: 512 — оптимизатор: Адам с betas=(0.9,0.999) и epsilon=1e-08 — lrschedulertype: cosine — numepochs: 1 — Трансформаторы 4.35.2 — Pytorch 2.1.1+cu121 — Наборы данных 2.14.6 — Токенизаторы 0.14.1
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: rishiraj
Теги: mistral, generated_from_trainer, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 23 | Загрузок: 10
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
