AlemLLM — это большая языковая модель, адаптированная Астана Хабом для повышения полезности ответов, генерируемых LLM, на казахском языке. Оценки моделей проводились с использованием установленных критериев и систематического процесса проверки производительности при выполнении различных когнитивных и технических задач. Архитектура: Смесь экспертов Всего параметров: 247B Активированные параметры: 22B Токенизатор: SentencePiece Квантование: BF16 Размер словаря: 100352 Количество слоев: 56 Функция активации: SwiGLU Метод позиционного кодирования: ROPE Оптимизатор: AdamW — Ubuntu 24.04 — NVIDIA-SMI 535.247.01 — Версия драйвера: 535.247.01 — Версия CUDA: 12.2 — ubuntu22.04 — cuda 12.1 — python 3.11 — pytorch==2.1.0 — Transformers==4.40.1 — ubuntu22.04 — cuda 12.4 — pytorch==2.6.0 — Transformers==4.51.0 Модель распространяется под лицензией Apache 2.0. Лицензия запрещает незаконное, вредное или неправомерное использование. Назначение: исследования и разработки в соответствии с инициативами Казахстана в области искусственного интеллекта. Ограничения: модель может генерировать неточный, предвзятый или небезопасный контент; пользователи должны применять практику ответственного использования. Безопасность и соответствие требованиям: публикация регулируется действующим законодательством, правилами экспортного контроля и кибербезопасности.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: astanahub
Теги: deepseek, conversational, custom_code, kk, ru, tr, en, endpoints_compatible
Лайков: 23 | Загрузок: 5
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
