Nandi-Mini-V1.1-600M-Intermediate-Checkpoint-400GT — это промежуточная контрольная точка из будущего семейства моделей Nandi-Mini-V1.1-600M, обученная после 400 миллиардов токенов. Это не окончательная конвергентная модель. Nandi-Mini — это компактная многоязычная языковая модель, обеспечивающая высокую эффективность, гибкость развертывания и улучшенную поддержку индийского языка. Модель включает в себя несколько архитектурных оптимизаций, в том числе: — Оптимизированный Shared-KV, сокращающий использование кэша KV почти на 50 %. — Факторизованные внедрения, обеспечивающие высокую эффективность параметров и помогающие достичь показателей рождаемости, конкурентоспособных с моделями более чем в 500 раз больше. — Q-Norm для повышения стабильности и производительности обучения. Модель обучается полностью с нуля и предназначена для обеспечения высокой производительности при небольших ограничениях по вычислительным ресурсам и памяти. Эта контрольная точка используется для раннего ознакомления с поведением масштабирования модели и ходом обучения. Этот выпуск является промежуточной контрольной точкой, а не финальной моделью. Ожидается, что производительность значительно улучшится при продолжении обучения и масштабирования. Мы вводим промежуточные контрольно-пропускные пункты, чтобы обеспечить прозрачность с сообществом и продемонстрировать, что наши…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: FrontiersMind
Теги: nandi, custom_code, en, hi, mr, ta, te, kn
Лайков: 8 | Загрузок: 101
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
