Tucano-1b1-Instruct — это усовершенствованная версия Tucano-1b1. Tucano — это серия декодеров-трансформеров, предварительно обученных на португальском языке. Все модели Tucano были обучены на GigaVerbo — объединении дедуплицированных португальских текстовых корпусов объемом 200 миллиардов токенов. — Контролируемая точная настройка (SFT) с использованием TucanoBR/Tucano-SFT, объединения трех различных наборов данных настройки инструкций (cnmoro/GPT4-500k-Augmented-PTBR-Clean, rhaymison/orca-math-portuguese-64k, nicholasKluge/instruct-aira-dataset-v3). — Прямая оптимизация предпочтений (DPO) с использованием набора данных nicholasKluge/reward-aira-dataset. — Архитектура: модель на основе Transformer, предварительно обученная с помощью моделирования причинного языка. — Размер: 1 100 048 384 параметров. — Длина контекста: 2048 токенов. — Набор данных: — cnmoro/GPT4-500k-Augmented-PTBR-Clean — rhaymison/orca-math-portuguese-64k — nicholasKluge/instruct-aira-dataset-v3 — nicholasKluge/reward-aira-dataset — Язык: португальский — Время обучения: ~ 12 часов — Выбросы: 22 кгCO2 (Германия) — Общее энергопотребление: 58 кВтч В этом репозитории есть исходный код, используемый для обучения этой модели. Основные используемые библиотеки: — PyTorch — Трансформеры — Наборы данных — Токенизаторы — Sentencepiece — Accelerate -…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: TucanoBR
Теги: jax, llama, text-generation-inference, conversational, pt, model-index, co2_eq_emissions, endpoints_compatible
Лайков: 5 | Загрузок: 185
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
