Эта модель представляет собой доработанную версию fblgit/juanako-7b-UNA-v2-phase-1 в бинаризованном наборе данных HuggingFaceH4/ultrafeedback. Он превосходит по многим аспектам большинство нынешних моделей на базе Mistral и на данный момент является новейшей и самой мощной версией Juanako**. Его рейтинг: 59,91 согласно таблице лидеров HuggingFace LLM. Его оценка: 65,1 с большой рефакторинговой ветвью lm-eval-harness juanako, использующей UNA, Uniform Neural Alignment. Методика обучения, облегчающая выравнивание между слоями трансформатора, еще не опубликована. Следующие запросы показали положительные результаты, это может зависеть от задачи и требует дальнейших экспериментов, но для начала это должно сработать: Во время обучения использовались следующие гиперпараметры: — скорость обучения: 0,0001 — trainbatchsize: 1 — evalbatchsize: 1 — начальное число: 42 — распределенный тип: multi-GPU — numdevices: 14 -gradientaccumulationsteps: 16 — totaltrainbatchsize: 224 — totalevalbatchsize: 14 — оптимизатор: Адам с betas=(0.9,0.999) и epsilon=1e-08 — lrschedulertype: линейный — lrschedulerwarmupratio: 0.01 — num_epochs: 1 — Трансформеры 4.35.0-UNA — Pytorch 2.1.0 — Наборы данных 2.14.6 — Токенизаторы 0.14.1 Спасибо всем выдающимся людям, создавшим ИИ, вот некоторые из…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: fblgit
Теги: mistral, alignment-handbook, generated_from_trainer, juanako, UNA, conversational, model-index, text-generation-inference
Лайков: 23 | Загрузок: 412
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
