Самая большая модель в наборе языковых моделей BOTS-LM, Pula-8B является наиболее функциональной моделью большого языка с открытым исходным кодом, созданной для Setswana. Основанный на архитектуре Llama-3.1-8B-Instruct и точно настроенный на массиве веб-текстов сетсвана и английского языка, следования инструкциям и синтетических данных, Pula-8B превосходит существующие модели открытого языка и перевода для сетсваны и английского языка, одновременно расширяя возможности рассуждения, чтобы стать конкурентоспособными по сравнению с существующими моделями, в несколько раз превышающими его размеры. Основанный на архитектуре инструкций Llama-3.1-8B, набор языковых моделей BOTS-LM точно настроен на специально созданные массивные корпуса веб-документов Setswana и английского языка (Marothodi), примеров инструкций и синтетических данных (Medupe), многоязычных данных (Aya Dataset, Inkuba Instruct) и подмножеств OpenHermes 2.5, MagPie Pro MT и The Tome. — Разработано: Натан Браун (@OxxoCodes) и Вукоси Маривате (@vukosi) — Финансируется: [Необходима дополнительная информация] — Тип модели: Meta Llama 3.1 — Язык(и) (NLP): Setswana, английский — Лицензия: [Необходима дополнительная информация] — Доработано на основе модели: Meta-Llama-3.1-8B-Instruct — Репозиторий: https://github.com/OxxoCodes/BOTS-LM — Бумага: [[2408.02239] BOTS-LM:…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: OxxoCodes
Теги: llama, conversational, tn, en, text-generation-inference, endpoints_compatible
Лайков: 4 | Загрузок: 195
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
