Хотите апгрейд/обзавелись мощным устройством? Вместо этого используйте https://huggingface.co/Pinkstack/SuperThoughts-CoT-14B-16k-o1-QwQ-GGUF/tree/main! Мы с гордостью сообщаем о нашей новой серии высококачественных моделей — PARM2. Очень качественные рассуждения, математические способности и способности к программированию при небольшом размере, которые каждый может бесплатно запустить на своем устройстве. — Вопрос 4: Эту модель следует использовать на периферийных устройствах, таких как телефоны или ноутбуки высокого класса, поскольку она очень компактна, качество хорошее, но ее можно полностью использовать. — Q8: Эту модель следует использовать на большинстве современных устройств высокого класса, таких как rtx 3080. Ответы очень высокого качества, но немного медленнее, чем Q4. (На смартфоне Samsung zfold 5 работает со скоростью 9,89 токенов в секунду.) Другие форматы не были включены, поскольку Q4, Q8 имеют лучшую производительность и качество. Этот Parm v2 основан на Qwen 2.5 3B, который получил множество дополнительных параметров обучения рассуждению, поэтому его выходные данные будут аналогичны qwen QwQ / O.1 mini (только намного, меньше). Мы обучили его, используя наборы данных, представленные здесь. Если вы протестировали эту модель, дайте мне знать. Это довольно упрощенная модель, которую можно довольно быстро запустить на телефонах высокого класса с помощью кванта q4. Чтобы использовать эту модель, вы должны использовать сервис, поддерживающий формат файлов GGUF.…
Модальности:
Генерация текста
Области применения:
Логика и рассуждение Диалог / чат
Задача: Генерация текста
Автор: Pinkstack
Теги: gguf, qwen2, text-generation-inference, unsloth, Reasoning, o1, qwq, en
Лайков: 7 | Загрузок: 117
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
