InkubaLM был обучен с нуля с использованием 1,9 миллиарда токенов данных для пяти африканских языков, а также данных на английском и французском языках, что в общей сложности составило 2,4 миллиарда токенов данных. Подобно архитектуре модели, используемой для MobileLLM, мы обучили этот InkubaLM с размером параметров 0,4 миллиарда и размером словаря 61 788. Подробную информацию об обучении, тестах и производительности можно найти в полной версии нашего блога. — Разработчик: Lelapa AI — группа фундаментальных исследований. — Тип модели: модель малого языка (SLM) для пяти африканских языков, построенная с использованием архитектуры LLaMA-7B. — Язык(и) (НЛП): исизулу, йоруба, суахили, исихоса, хауса, английский и французский. — Лицензия: CC BY-NC 4.0. Модель InkubaLM была обучена на многоязычных наборах данных, но имеет некоторые ограничения. Он способен понимать и генерировать контент на пяти африканских языках: суахили, йоруба, хауса, исизулу и исихоса, а также английском и французском языках. Хотя он может генерировать тексты на различные темы, полученный контент не всегда может быть полностью точным, логически последовательным или свободным от предвзятостей, обнаруженных в обучающих данных. Кроме того, модель может иногда использовать разные языки, когда…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: lelapa
Теги: llama, nlp, InkubaLM, africanLLM, africa, llm, custom_code, en
Лайков: 59 | Загрузок: 859
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
