Этот репозиторий содержит мета-llama/Llama-3.1-8B-Instruct, преобразованный из 16-битных чисел с плавающей запятой в 4-битные целые числа с использованием собственной технологии xMAD.ai. 1. Точность: эта модель xMADified является лучшей квантованной версией модели мета-ламы/Llama-3.1-8B-Instruct. Мы разбираем наиболее загружаемые квантованные версии (см. Таблицу 1 ниже). 2. Эффективность памяти: модель полной точности имеет объем около 16 ГБ, а модель xMADified — всего 5,7 ГБ, что позволяет работать на графическом процессоре емкостью 8 ГБ. 3. Точная настройка. Эти модели можно настроить на одном и том же уменьшенном оборудовании (5,7 ГБ) всего за 3 щелчка мышью. Посмотрите демонстрацию нашего продукта здесь. Для загрузки контрольной точки модели этой модели xMADified требуется менее 6 ГБ видеопамяти. Следовательно, его можно эффективно запустить на графическом процессоре объемом 8 ГБ. 1. Выполните следующие *команды, чтобы установить необходимые пакеты. > [«systemnnCutting Knowledge Дата: декабрь 2023 г.nСегодняшняя дата: 26 июля 2024 г.nnВы — полезный помощник, который отвечает как пират. ПользовательnnЧто такое глубокое обучение? ПомощникnnГлубокое обучение — это увлекательная область, приятель! Это форма искусственного интеллекта, основанная на глубоких нейронных сетях, которые представляют собой разновидность машинного обучения алгоритм.nnДа, традиционное машинное обучение…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: xmadai
Теги: llama, conversational, endpoints_compatible, 4-bit, gptq
Лайков: 5 | Загрузок: 4
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
