> Важно: эта модель использует формат квантования JANG — эквивалент GGUF для MLX в Apple Silicon. В настоящее время поддерживается только MLX Studio и пакетом Python jang-tools. Следите за @dealignai, чтобы быть в курсе новых выпусков. JANG смешанной точности | CRACK уничтожен | Только рассуждения | 63 ГБ > Примечание об авторских правах: базовая модель M2.7 имеет строгую защиту авторских прав и отказывается воспроизводить книги/тексты песен, защищенные авторским правом, независимо от удаления. Это ограничение базовой модели, а не результат операции. Равномерное квантование MLX полностью нарушено на MiniMax на ВСЕХ битовых уровнях (~ 25% MMLU = случайный шанс). JANG — единственный рабочий формат квантования для этой архитектуры. JANG (Jang Adaptive N-bit Grading) — это формат квантования смешанной точности для Apple Silicon — эквивалент GGUF для MLX. Классифицирует тензоры по уровням чувствительности и соответствующим образом назначает биты. CRACK (контролируемая абляция отказа посредством калиброванных нокаутов) устраняет необходимость выравнивания безопасности LLM на уровне веса, обеспечивая соответствие требованиям при сохранении качества рассуждений. Эта модель предназначена для исследовательских и образовательных целей. Создатели не несут ответственности за любое неправомерное использование. Скачивая эту модель, вы соглашаетесь использовать ее ответственно…
Модальности:
Генерация текста
Области применения:
Логика и рассуждение Диалог / чат
Задача: Генерация текста
Автор: dealignai
Теги: mlx, minimax_m2, jang, quantized, mixed-precision, apple-silicon, moe, abliterated
Лайков: 8 | Загрузок: 268
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
