Модель mlx-community/Qwen2.5-7B-Instruct-1M-4bit была преобразована в формат MLX из Qwen/Qwen2.5-7B-Instruct-1M с использованием mlx-lm версии 0.21.1.
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: mlx-community
Теги: qwen2, chat, mlx, conversational, en, text-generation-inference, endpoints_compatible, 4-bit
Лайков: 11 | Загрузок: 620
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
Он был квантован до 4 бит с использованием: https://github.com/TigerResearch/TigerBot/tree/main/gptq. Модальности:Генерация текста Задача: Генерация текста Автор: TigerResearch Теги: bloom,...
Falcon-180B-Chat — это модель причинного декодера с параметрами 180B, созданная TII на основе Falcon-180B и настроенная на смесь...
Этот репозиторий содержит мета-llama/Llama-3.2-3B-Instruct, преобразованный из 16-битных чисел с плавающей запятой в 4-битные целые числа с использованием собственной...
Эта модель уже устарела. Пожалуйста, используйте defog/sqlcoder-7b-2 для большей производительности! SQLCoder от Defog — это современная программа LLM...
