— Список открытого исходного кода — Модели — Данные — Инженерные решения — Введение — Чат с MOSS — Требования к графическому процессору — Установка — Попробуйте MOSS — Точная настройка MOSS — Требования — Начало обучения — Ссылки по теме — Планы на будущее — Лицензия —— | ——— | ———————- | ——————— | Обратите внимание, что версия горелки и трансформаторов должна быть равна или выше рекомендованной. В настоящее время Triton поддерживает только Linux и WSL. Пожалуйста, дождитесь более поздних обновлений, если вы используете Windows/MacOS. Ниже приведен пример выполнения вывода moss-moon-003-sft, который может быть выполнен на одном графическом процессоре или процессоре A100/A800 с точностью FP16: Вы также можете выполнить вывод MOSS, используя приведенный ниже фрагмент кода, на >=2 графических процессорах NVIDIA 3090: В случае ограниченной памяти графического процессора вы можете использовать квантованные модели MOSS для уменьшения памяти и затрат на вычисления. Мы использовали GPTQ и серверную часть OpenAI triton (поддерживает только Linux) для реализации квантованного вывода. ~~~python >>> из трансформаторов import AutoTokenizer, AutoModelForCausalLM >>> tokenizer = AutoTokenizer.frompretrained(«fnlp/moss-moon-003-sft-int4»,trustremotecode=True) >>> model = AutoModelForCausalLM.frompretrained(«fnlp/moss-moon-003-sft-int4»,…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: OpenMOSS-Team
Теги: moss, llm, custom_code, en, zh
Лайков: 41 | Загрузок: 46
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
