Tucano-2b4-Instruct — это усовершенствованная версия Tucano-2b4. Tucano — это серия декодеров-трансформеров, предварительно обученных на португальском языке. Все модели Tucano были обучены на GigaVerbo — объединении дедуплицированных португальских текстовых корпусов объемом 200 миллиардов токенов. — Контролируемая точная настройка (SFT) с использованием TucanoBR/Tucano-SFT, объединения трех различных наборов данных настройки инструкций (cnmoro/GPT4-500k-Augmented-PTBR-Clean, rhaymison/orca-math-portuguese-64k, nicholasKluge/instruct-aira-dataset-v3). — Прямая оптимизация предпочтений (DPO) с использованием набора данных nicholasKluge/reward-aira-dataset. — Архитектура: модель на основе Transformer, предварительно обученная с помощью моделирования причинного языка — Размер: 2 444 618 240 параметров — Длина контекста: 4096 токенов — Набор данных: — cnmoro/GPT4-500k-Augmented-PTBR-Clean — rhaymison/orca-math-portuguese-64k — nicholasKluge/instruct-aira-dataset-v3 — nicholasKluge/reward-aira-dataset — Язык: португальский — Время обучения: ~ 12 часов — Выбросы: 42 кгCO2 (Германия) — Общее энергопотребление: 110 кВтч В этом репозитории есть исходный код, используемый для обучения этой модели. Основные используемые библиотеки: — PyTorch — Трансформеры — Наборы данных — Токенизаторы — Sentencepiece — Accelerate -…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: TucanoBR
Теги: llama, text-generation-inference, conversational, pt, model-index, co2_eq_emissions, endpoints_compatible
Лайков: 8 | Загрузок: 960
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
