> Примечание. ZAYA1-8B использует собственную разреженную архитектуру MoE (ZayaForCausalLM), которая еще не поддерживается llama.cpp. Файлы GGUF будут добавлены после получения поддержки (ошибка № 22776). Между тем, квантование битов и байтов обеспечивает рабочую альтернативу. Все цифры из оценочного пакета Zyphra. Модели упорядочены по общему количеству параметров. Для загрузки ZayaForCausalLM требуется форк кастомных трансформеров Zyphra:
Модальности:
Генерация текста
Области применения:
Логика и рассуждение
Задача: Генерация текста
Автор: barozp
Теги: bitsandbytes, quantized, 4-bit, 8-bit, nf4, zaya, mixture-of-experts, reasoning
Лайков: 7 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
