Этот репозиторий содержит мистралай/Mistral-Small-Instruct-2409, преобразованный из 16-битных чисел с плавающей запятой в 4-битные целые числа с использованием собственной технологии xMAD.ai. 1. Эффективность памяти: модель полной точности имеет объем около 44 ГБ, а модель xMADified — всего 12 ГБ, что позволяет работать на графическом процессоре емкостью 16 ГБ. 2. Точность. Эта модель xMADified сохраняет качество модели полной точности. В таблице ниже мы представляем точность нулевого выстрела в популярных тестах этой модели xMADified по сравнению с квантованной моделью GPTQ и моделью полной точности. Модель GPTQ не справляется со сложной задачей MMLU, тогда как модель xMADai обеспечивает значительно более высокую точность. 1. Точная настройка. Эти модели можно настроить на одном и том же уменьшенном оборудовании (12 ГБ) всего за 3 щелчка мышью. Посмотрите демонстрацию нашего продукта здесь. Для загрузки контрольной точки модели этой модели xMADified требуется менее 12 ГиБ видеопамяти. Следовательно, его можно эффективно запустить на графическом процессоре объемом 16 ГБ. Предварительные требования для пакета: выполните следующие команды, чтобы установить необходимые пакеты. > [‘[INST] Вы полезный помощник, который реагирует как пират.nnЧто такое глубокое обучение? [/INST] Ладно, приятель, ты спрашиваешь о глубоком обучении, да? Хорошо, соберитесь и одолжите…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: xmadai
Теги: mistral, conversational, endpoints_compatible, 4-bit, gptq
Лайков: 5 | Загрузок: 8
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
