Этот репозиторий содержит мистралай/Mistral-Large-Instruct-2407, преобразованный из 16-битных чисел с плавающей запятой в 4-битные целые числа с использованием собственной технологии xMAD.ai. 1. Эффективность памяти: модель полной точности имеет объем около 250 ГБ, а модель xMADified — всего 65 ГБ, что позволяет работать на одном графическом процессоре емкостью 80 ГБ или двух графических процессорах по 40 ГБ. 2. Точность. Эта модель xMADified сохраняет качество модели полной точности. В таблице ниже мы представляем точность нулевого выстрела в популярных тестах этой модели xMADified по сравнению с моделью, квантованной GPTQ. Модель xMADai обеспечивает более высокую точность, чем модель GPTQ. 3. Точная настройка. Эти модели можно настроить на уменьшенном оборудовании всего за 3 щелчка мышью. Посмотрите демонстрацию нашего продукта здесь. Для загрузки контрольной точки модели этой модели xMADified требуется 65 ГБ видеопамяти. Следовательно, его можно эффективно запустить на двух графических процессорах по 40 ГБ. Предварительные требования для пакета: выполните следующие команды, чтобы установить необходимые пакеты. Если вы нашли эту модель полезной, пожалуйста, процитируйте нашу исследовательскую работу. Чтобы получить дополнительные модели xMADified, доступ к тонкой настройке и общие вопросы, свяжитесь с нами по адресу support@xmad.ai и присоединяйтесь к нашему списку ожидания.
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: xmadai
Теги: mistral, conversational, text-generation-inference, endpoints_compatible, 4-bit, gptq
Лайков: 7 | Загрузок: 10
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
