Этот репозиторий содержит мета-llama/Llama-3.2-1B-Instruct, преобразованный из 16-битных чисел с плавающей запятой в 4-битные целые числа с использованием собственной технологии xMAD.ai. Для загрузки контрольной точки модели этой xMADified требуется менее 2 ГБ видеопамяти. Следовательно, его можно эффективно запустить на большинстве графических процессоров ноутбуков. Предварительные требования для пакета: выполните следующие команды, чтобы установить необходимые пакеты. Чтобы получить дополнительные модели xMADified, доступ к тонкой настройке и общие вопросы, свяжитесь с нами по адресу support@xmad.ai и присоединяйтесь к нашему списку ожидания.
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: xmadai
Теги: llama, conversational, endpoints_compatible, 4-bit, gptq
Лайков: 5 | Загрузок: 5
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
