Ирбис-7Б — это языковая модель на основе конструкции трансформеров, адаптированная для казахского языка. — Улучшенный токенизатор — словарь токенизатора был расширен с 32 до 60 тысяч токенов, включая больше казахских слов, что обеспечивает эффективность токенизации для казахского языка. — Предварительное обучение — модель была предобучена на 20 ГБ преимущственно казахских и немного русских текстов для настройки с новым токенизатором. В результате модель показывает значительно лучшее качество работы с казахским языком по сравнению с прочными моделями из открытых источников. За счет нового токенизатора увеличилась скорость генерации текста в 3-4 раза, а также оптимизировалось заполнение контекстного окна.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Gen2B
Теги: mistral, kk, ru, en, text-generation-inference, endpoints_compatible
Лайков: 16 | Загрузок: 31
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
