TeenyTinyLlama — это пара небольших базовых моделей, обучаемых на бразильском португальском языке. Этот репозиторий содержит версию TeenyTinyLlama-460m (TeenyTinyLlama-460m-Chat), настроенную на Instruct-Aira Dataset версии 2.0. — Количество эпох: 3 — Размер партии: 4 — Оптимизатор: torch.optim.AdamW (warmupsteps = 1e3, learningrate = 1e-5, epsilon = 1e-8) — Графический процессор: 1 NVIDIA A100-SXM4-40GB — Статистика выбросов углерода регистрируется в этом файле. Этот репозиторий имеет исходный код, используемый для обучения этой модели. Основным назначением TeenyTinyLlama является исследование проблем, связанных с разработкой языковых моделей для языков с ограниченными ресурсами. Контрольные точки, сохраненные во время обучения, предназначены для обеспечения контролируемой настройки для проведения научных экспериментов. Вы также можете дополнительно настроить и адаптировать TeenyTinyLlama для развертывания, если ваше использование соответствует лицензии Apache 2.0. Если вы решите использовать предварительно подготовленную TeenyTinyLlama в качестве основы для своей точно настроенной модели, пожалуйста, проведите собственную оценку риска и предвзятости. TeenyTinyLlama не предназначена для развертывания. Он не является продуктом и не должен использоваться для взаимодействия с человеком. Модели TeenyTinyLlama — это только бразильский португальский язык…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: nicholasKluge
Теги: jax, llama, alignment, instruction tuned, text generation, conversation, assistant, pt
Лайков: 3 | Загрузок: 323
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
