10 апреля @MistralAI выпустил модель под названием «Mixtral 8x22B», 176 байт MoE через магнитную ссылку (торрент): — 141 байт MoE с активными ~35 байтами — длина контекста 65 тысяч токенов — базовая модель может быть настроена — требуется ~260 ГБ видеопамяти в fp16, 73 ГБ в int4 — лицензия Apache 2.0, согласно их Discord — доступен на @huggingface (сообщество) — использует токенизатор, аналогичный предыдущим моделям. GGUF и квантованные модели здесь основаны на модели v2ray/Mixtral-8x22B-v0.1. Вы можете загрузить только те кванты, которые вам нужны, вместо клонирования всего репозитория следующим образом: llamaloadmodelfromfile определит количество файлов и загрузит дополнительные тензоры из остальных файлов. Поскольку это базовая модель, она будет продолжать генерироваться. — MistralAI за открытие гирь — v2ray за загрузку, преобразование и обмен с сообществом Mixtral-8x22B-v0.1 — philschmid за фотографию, которой он поделился в своем Твиттере ▄▄▄░░ ▄▄▄▄▄██████████░░░░ ▄▄▄▄▄▄████████████████████░░░░░ ██████████████████████████████░░░░░ ▄▄▄▄▄▄██████░░░ ██████████████████████████████░░░░░ ▄▄▄▄▄██████████████████░░░░░░ ██████████████████████████████░░░░░…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: MaziyarPanahi
Теги: gguf, mixtral, quantized, 2-bit, 3-bit, 4-bit, 5-bit, 6-bit
Лайков: 75 | Загрузок: 100,885
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
