Тензоры внимания 4-битные, потому что Mixtral повторно использует их для каждого эксперта — поэтому добавляется всего 0,4 ГБ, а качество значительно улучшается. Посмотрите на это, но вы возбуждены и умираете от чата m|nant tokenitis.|> Моими невольными и, по-видимому, невольными сотрудниками были очень умные люди из mobiusml — посмотрите их причудливую математику в их мини-бумаге в блоге на GitHub для штаб-квартиры. Он совместим с HF Transformers (включая Baybee с контрастным поиском!) и поддерживается «из коробки» (я думаю) на text-generation-webui. Собственное описание Mobius того, что это такое, см. в шаблоне, которому я следовал, их квантование ванильного микстраля по адресу mobiuslabsgmbh/Mixtral-8x7B-v0.1-hf-attn-4bit-moe-2bit-HQQ + мое лучшее предположение при анализе исходного кода HQQ состоит в том, что это работает своего рода… «JIT de-quanti-» Я понятия не имею, правда. Если вы предпочитаете разговаривать с людьми, а не быть обманутыми языковыми моделями (почему вы здесь?), вы, вероятно, можете спросить MobiusML — они кажутся дружелюбными, а специалисты по компьютерным наукам и инженерам обычно любят говорить о своих исследованиях и разработках. Чудаки. Я думаю, что это функционирующий квант из одной из самых любимых языковых моделей, вдохновленных норовирусом, Noromaid. Я бы не знал — я не могу загрузить 90…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: ProphetOfBostrom
Теги: mixtral, HQQ, moe, quantized, 2bit, conversational, endpoints_compatible
Лайков: 6 | Загрузок: 19
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
