TucanoBR/Tucano-2b4 - Каталог нейросетей
Генерация текста

TucanoBR/Tucano-2b4

Добавлено:
TucanoBR/Tucano-2b4

Tucano — это серия декодеров-трансформеров, предварительно обученных на португальском языке. Все модели Tucano были обучены на GigaVerbo — объединении дедуплицированных португальских текстовых корпусов объемом 200 миллиардов токенов. — Архитектура: модель на основе Transformer, предварительно обученная посредством моделирования причинного языка — Размер: 2 444 618 240 параметров — Длина контекста: 4096 токенов — Набор данных: TucanoBR/GigaVerbo — Язык: португальский — Количество шагов: 1 960 000 — Графический процессор: 16 NVIDIA A100-SXM4-80GB — Время обучения: ~ 845 часов — Выбросы: 4 475 кгCO2 (Германия) — Общее энергопотребление: 11 749 кВтч. В этом репозитории имеется исходный код, используемый для обучения этой модели. Основные используемые библиотеки: — PyTorch — Трансформеры — Наборы данных — Токенизаторы — Sentencepiece — Accelerate — FlashAttention — Liger Kernel — Codecarbon — TRL Основное назначение моделей Tucano — служить основой для исследований и разработок, включающих моделирование на родном португальском языке. Контрольные точки, сохраненные во время обучения, предназначены для обеспечения контролируемых настроек для проведения сравнительных экспериментов, в частности, в отношении влияния активного предварительного обучения на производительность доступных в настоящее время тестов. Вы также можете настроить…

Модальности:
Генерация текста


Задача: Генерация текста
Автор: TucanoBR
Теги: jax, llama, text-generation-inference, pt, model-index, co2_eq_emissions, endpoints_compatible
Лайков: 5  |  Загрузок: 626

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.