Полностью обученная версия этой модели теперь доступна по адресу https://huggingface.co/sarvamai/sarvam-1. Обновление (15 августа 2024 г.): теперь вы можете приступить к дополнению текста и контролируемой точной настройке с помощью этого блокнота в Google Colab! Это ранняя контрольная точка sarvam-2b, небольшой, но мощной языковой модели, предварительно обученной с нуля на 2 триллионах токенов. Он обучен хорошо владеть 10 индийскими языками + английским. Официально поддерживаются следующие индийские языки: бенгали, гуджарати, хинди, каннада, малаялам, маратхи, ория, пенджаби, тамильский и телугу. Последняя контрольная точка sarvam-2b будет выпущена в ближайшее время, и она будет обучаться на смеси данных из 4 триллионов токенов: содержащей равные части английских (2T) и индийских (2T) токенов. Нынешний КПП не проходил никакой постобучения. Посмотреть возможности текущей КПП можно в этом видео. Модель была обучена с помощью NVIDIA NeMo™ Framework в облаке Yotta Shakti с использованием систем HGX H100. Токенизатор sarvam-2b создан для эффективной работы с индийскими языками и имеет средний показатель рождаемости ~2, что значительно ниже, чем у других моделей. Вот сравнение показателей фертильности между сарвам-2b и другими популярными…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: sarvamai
Теги: llama, conversational, text-generation-inference, endpoints_compatible
Лайков: 100 | Загрузок: 1,444
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
