Существует черновой вариант модели для спекулятивного декодирования и логических рассуждений: https://huggingface.co/nisten/qwen2.5-coder-7b-abliterated-128k-AWQ Использование вышеуказанного 4-битного 7b в сочетании с 36b предназначено для настройки цепочки рассуждений и оценки, аналогичной тому, что, вероятно, делает O1-O3. Таким образом, 7b 4bit использует только дополнительные 4-6 ГБ на графическом процессоре, но значительно ускоряет как спекулятивное декодирование, так и сквозные оценки. Т.е. в данном случае модель смогла написать для себя почти работающий хех… интерфейс чата за один раз. И это был ВЕСЬ интерфейс, включая Python, HTML, стили и вызовы API. Это объединение предварительно обученных языковых моделей, созданных с помощью mergekit. В объединение были включены следующие модели: Qwen/Qwen2.5-Coder-32B-Instruct Qwen/Qwen2.5-Coder-32B * huihui-ai/Qwen2.5-32B-Instruct-abliterated
Модальности:
Генерация текста
Области применения:
Генерация кода Диалог / чат
Задача: Генерация текста
Автор: nisten
Теги: qwen2, code, conversational, text-generation-inference, endpoints_compatible
Лайков: 9 | Загрузок: 18
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
