Ускорьте вывод, одновременно уменьшив объем памяти в 2–4 раза, используя вывод int8 в C++ на ЦП или графическом процессоре. Контрольная точка, совместимая с ctranslate2>=3.16.0 и hf-hub-ctranslate2>=2.12.0 — Computetype=int8float16 для устройства=»cuda» — Computetype=int8 для устройства=»cpu»` Это просто квантованная версия. Условия лицензии должны быть идентичны исходному репозиторию Huggingface. 1. Краткое описание модели 2. Использование 3. Ограничения 4. Обучение 5. Лицензия 6. Цитирование Модели StarCoder — это модели с 15,5 миллиардами параметров, обученные на более чем 80 языках программирования из The Stack (v1.2), за исключением запросов на отказ. Модель использует внимание к множественным запросам, контекстное окно из 8192 токенов и была обучена с использованием цели «Заполнить посередине» на 1 триллионе токенов. — Репозиторий: bigcode/Megatron-LM — Веб-сайт проекта: bigcode-project.org — Бумага: 💫StarCoder: Да пребудет с вами источник! — Контактное лицо: contact@bigcode-project.org — Языки: более 80 языков программирования. Модель была обучена на коде GitHub. По существу, это не модель инструкций и не команды типа «Напишите функцию, вычисляющую квадратный корень». не работают хорошо. Однако, используя подсказку Tech Assistant, вы можете превратить его в способного технического помощника…
Модальности:
Генерация текста
Области применения:
Генерация кода
Задача: Генерация текста
Автор: michaelfeil
Теги: gpt_bigcode, ctranslate2, int8, float16, code, model-index, endpoints_compatible
Лайков: 13 | Загрузок: 22
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
