Самая большая модель, когда-либо выпущенная. Не тестировался, и у меня нет вычислительной мощности, чтобы его проверить. Если кто-то готов разместить это, чтобы помочь мне в тестировании, поделитесь своими результатами на вкладке сообщества. Это почти 960 ГБ весов. Вероятно, для запуска 4-битного режима требуется как минимум 8xA100 80 ГБ. вероятно
Модальности:
Генерация текста
Задача: Генерация текста
Автор: NobodyExistsOnTheInternet
Теги: mixtral, text-generation-inference, endpoints_compatible
Лайков: 8 | Загрузок: 172
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
