10 апреля @MistralAI выпустил модель под названием «Mixtral 8x22B», 176 байт MoE через магнитную ссылку (торрент): — 176 байт MoE с активными ~40 байтами — длина контекста 65 тыс. токенов — базовая модель может быть настроена — требуется ~260 ГБ видеопамяти в fp16, 73 ГБ в int4 — лицензия Apache 2.0, согласно их Discord — доступен на @huggingface (сообщество). — Использует токенизатор, аналогичный предыдущим моделям. MaziyarPanahi/Mixtral-8x22B-v0.1-AWQ — квантованная (AWQ) версия v2ray/Mixtral-8x22B-v0.1. — MistralAI для открытия весов. — v2ray для загрузки, конвертации и обмена ею с сообществом. Mixtral-8x22B-v0.1 — philschmid за фотографию, которой он поделился в своем Твиттере ▄▄▄░░ ▄▄▄▄▄█████████░░░░ ▄▄▄▄▄▄████████████████████░░░░░ ██████████████████████████████░░░░░ ▄▄▄▄▄▄██████░░░ ██████████████████████████████░░░░░ ▄▄▄▄▄██████████████████░░░░░░ ████████████████████████████░░░░░ ▄██████████████████████████████░░░░░░░░████████████████████████████████░░░░░ ████████████████████████████████░░░░░░░██████████████████████████████░░░░░ ████████████████████████████████░░░░░░░██████████████████████████████░░░░░ ████████████████████████████████░░░░░░████████████████████████████████░░░░░…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: mistral-community
Теги: mixtral, quantized, 4-bit, AWQ, moe, fr, it, de
Лайков: 36 | Загрузок: 511
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
