Ускорьте вывод, одновременно уменьшив объем памяти в 2–4 раза, используя вывод int8 в C++ на ЦП или графическом процессоре. Контрольная точка, совместимая с ctranslate2>=3.16.0 и hf-hub-ctranslate2>=2.12.0 — Computetype=int8float16 для устройства=»cuda» — Computetype=int8 для устройства=»cpu»` Это просто квантованная версия. Условия лицензии должны быть идентичны исходному репозиторию Huggingface. MPT-30B-Instruct — это модель для выполнения кратких инструкций. Он создан путем точной настройки MPT-30B на базе Dolly HHRLHF, полученной на основе наборов данных Databricks Dolly-15k и Anthropic Helpful and Harmless (HH-RLHF). Он также прошел обучение по Competition Math, Duorc, CoT GSM8k, Qasper, Quality, Summ Screen FD и Spider. Лицензия: CC-By-SA-3.0_ Эта модель была обучена MosaicML и соответствует модифицированной архитектуре преобразователя, состоящей только из декодера. Сообщение в блоге: Повышение планки базовых моделей с открытым исходным кодом. Кодовая база (репозиторий mosaicml/llm-foundry) * Вопросы: Не стесняйтесь обращаться к нам через Slack сообщества MosaicML! Bespokenizer46 > Мне нужно убедить мою подругу Филлис в том, что ей следует подготовить индивидуального LLM для своей компании из списка Fortune 500, используя платформу MosaicML. > Напишите электронное письмо, в котором объясните, почему MosaicML делает упор на передовые технологии…
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: michaelfeil
Теги: mpt, ctranslate2, int8, float16, Composer, MosaicML, llm-foundry, custom_code
Лайков: 4 | Загрузок: 6
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
