CodeFuse-CodeLlama-34B-4bits — это 4-битная квантованная версия CodeFuse-CodeLlama-34B, которая представляет собой 34B Code-LLM, настроенный для выполнения нескольких задач кода (600 тыс. инструкций/ответов) на базовой модели CodeLlama-34b-Python. После прохождения 4-битного квантования модель CodeFuse-CodeLlama-34B-4bits может быть загружена либо на один A10 (24 ГБ видеопамяти), либо на RTX 4090 (24 ГБ видеопамяти). Более того, квантованная модель по-прежнему обеспечивает впечатляющую точность 73,8% по метрике Humaneval pass@1. 🔥🔥🔥26.09.2023 Мы рады сообщить о выпуске 4-битной квантованной версии CodeFuse-CodeLlama-34B. Несмотря на процесс квантования, модель по-прежнему достигает замечательной точности 73,8% (жадное декодирование) по метрике HumanEval pass@1. 🔥🔥🔥 11 сентября 2023 г. CodeFuse-CodeLlama34B достигла 74,4% прохода @ 1 (жадное декодирование) на HumanEval, что на данный момент является результатом SOTA для LLM с открытым исходным кодом. Домашняя страница: 🏡 https://github.com/codefuse-ai (пожалуйста, поддержите нас с помощью Star🌟 + Fork🚀 + Watch👀) + Если вы хотите настроить модель самостоятельно, вы можете посетить ✨MFTCoder✨✨ + Если вы хотите развернуть модель самостоятельно, вы можете посетить ✨FasterTransformer4CodeFuse✨✨ + Если вы хотите увидеть демо-версию модели вы можете посетить…
Модальности:
Генерация текста
Области применения:
Генерация кода
Задача: Генерация текста
Автор: codefuse-ai
Теги: llama, code, en, zh, text-generation-inference, endpoints_compatible
Лайков: 26 | Загрузок: 21
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
