GGUF и квантовые модели здесь основаны на модели mistralai/Mixtral-8x22B-Instruct-v0.1. Вместо клонирования всего репозитория вы можете загрузить только те кванты, которые вам нужны, следующим образом: llamaloadmodelfromfile определит количество файлов и загрузит дополнительные тензоры из остальных файлов.
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: MaziyarPanahi
Теги: gguf, quantized, 2-bit, 3-bit, 4-bit, 5-bit, 6-bit, 8-bit
Лайков: 34 | Загрузок: 976
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.