Модель арабского языка с 2,09 миллиардами параметров, обученная с нуля с использованием платформы nanochat. — Набор данных: AraMix (8,19 млрд токенов, оптимально для Chinchilla) — Шаги: 7812 шагов — Аппаратное обеспечение: 8 графических процессоров NVIDIA H20 — Размер пакета: 1 048 576 токенов — Наборы данных: alpaca-gpt4-arabic (50 КБ) + CIDAR (10 000) + ArabMMLU (x3) + ArabGSM8K (x4) + Диалоги с идентичностью Фасих — Общая смесь: 90 621 строк — Шаги: 16 (1 эпоха) — Маленькая модель (2B параметров) — ограниченные знания и рассуждения по сравнению с более крупными моделями — Обучение в основном на арабском тексте — ограниченные многоязычные возможности — Короткий контекст (2048 токенов) — Это исследовательская/образовательная модель, обученная с нуля примерно за 12 часов.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: HeshamHaroon
Теги: fasih, arabic, nanochat, causal-lm, from-scratch, ar, model-index
Лайков: 9 | Загрузок: 10
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
