Этот репозиторий содержит мета-llama/Llama-3.2-3B-Instruct, преобразованный из 16-битных чисел с плавающей запятой в 4-битные целые числа с использованием собственной технологии xMAD.ai. 1. Точность: эта модель xMADified является лучшей квантованной версией модели мета-ламы/Llama-3.2-3B-Instruct. Мы находимся на одном уровне с исходной моделью (fp16) (см. Таблицу 1 ниже). 2. Эффективность памяти. Эта модель xMADified (3 ГБ) имеет на >50 % меньше памяти, чем модель полной точности (6,5 ГБ). Вы можете запустить это на любом графическом процессоре ноутбука. 3. Точная настройка. Эти модели можно настроить на одном и том же уменьшенном оборудовании (3 ГБ) всего за 3 щелчка мышью. Посмотрите демонстрацию нашего продукта здесь. Для загрузки контрольной точки модели этой xMADified модели требуется менее 3 ГБ видеопамяти. Следовательно, его можно эффективно запустить на большинстве графических процессоров ноутбуков. Предварительные требования для пакета: выполните следующие команды, чтобы установить необходимые пакеты. Чтобы получить дополнительные модели xMADified, доступ к тонкой настройке и общие вопросы, свяжитесь с нами по адресу support@xmad.ai и присоединяйтесь к нашему списку ожидания.
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: xmadai
Теги: llama, conversational, endpoints_compatible, 4-bit, gptq
Лайков: 6 | Загрузок: 30
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
