Этот репозиторий содержит мета-llama/Llama-3.1-405B-Instruct, преобразованный из 16-битных чисел с плавающей запятой в 4-битные целые числа с использованием собственной технологии xMAD.ai. 1. Точность: эта модель xMADified является лучшей квантованной версией модели мета-ламы/Llama-3.1-405B-Instruct (только 200 ГБ). См. таблицу 1 ниже, в которой приведены показатели качества модели. 2. Эффективность памяти: модель полной точности имеет объем около 800 ГБ, а модель xMADified — всего около 200 ГБ, что позволяет работать на четырех графических процессорах по 80 ГБ. 3. Точная настройка. Эти модели можно настроить на одном и том же уменьшенном оборудовании (4 графических процессора по 80 ГБ) всего за 3 щелчка мышью. Посмотрите демонстрацию нашего продукта здесь. Для загрузки контрольной точки модели этой модели xMADified требуется около 200 ГиБ видеопамяти. Следовательно, его можно эффективно запустить на 4 графических процессорах по 80 ГБ или 8 графических процессорах по 40 ГБ. 1. Выполните следующие *команды, чтобы установить необходимые пакеты. Если эта модель оказалась для вас полезной, процитируйте нашу исследовательскую работу. Чтобы получить дополнительные модели xMADified, доступ к тонкой настройке и общие вопросы, свяжитесь с нами по адресу support@xmad.ai и присоединяйтесь к нашему списку ожидания.
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: xmadai
Теги: llama, conversational, text-generation-inference, endpoints_compatible, 4-bit, gptq
Лайков: 6 | Загрузок: 5
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
