Mambaoutai является результатом всех экспериментов и тренировок, описанных в следующем сообщении блога, где представлены все подробности о модельном ряду. Мамбаутай — это серия небольших контрольно-пропускных пунктов мамбы, выпущенных для изучения сообществом, обученных французскому, английскому языку и программированию. Мы запускаем две разные фазы затухания с помощью WSD-планировщика и выпускаем контрольные точки модели, предварительно обученные как с данными инструкций, так и без них. Вам необходимо устанавливать трансформаторы из основного до тех пор, пока не будет выпущен Transformers=4.39.0. Мы также рекомендуем вам установить causal-conf1d и mamba-ssm, используя: Если какой-либо из этих двух не установлен, будет использоваться «энергичная» реализация (не рекомендуется). В противном случае будут использоваться более оптимизированные ядра CUDA. Вы можете найти некоторые контрольные точки обучения в ветке репо. В ветке, соответствующей модели в определенный момент времени во время обучения. Вы можете сделать вывод с помощью этих контрольных точек обучения, добавив параметр пересмотра в метод frompretrained`. Например, чтобы загрузить контрольную точку модели после 30 000 шагов предварительного обучения, вы можете использовать следующий код: Поскольку Mambaoutai имеет всего 1,6 млрд параметров, его можно запускать на ЦП с разумной скоростью. Модель…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: lightonai
Теги: mamba, conversational, fr, en, text-generation-inference, endpoints_compatible
Лайков: 5 | Загрузок: 12
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
