Мы используем современную систему оценки языковой модели для запуска тестов производительности, описанных выше. Мы доработали модель open-lama и превзошли исходную модель в нескольких подзадачах оценки, что сделало ее на данный момент самой эффективной 3B-моделью с производительностью, сравнимой с llama-7b. Базовая модель: openlm-research/openllama3b. Чтобы использовать модель с библиотекой трансформаторов на машине с графическими процессорами, сначала убедитесь, что у вас установлены библиотеки трансформаторов, ускорения и факела. Вы можете распечатать образец приглашения после этапа предварительной обработки, чтобы увидеть, как он передается в токенизатор: Кроме того, вы можете скачать mambagptpipeline.py, сохранить его рядом с блокнотом и самостоятельно построить конвейер из загруженной модели и токенизатора. Если модель и токенизатор полностью поддерживаются в пакете преобразователей, это позволит вам установитьtrustremotecode=False. Вы также можете самостоятельно построить конвейер из загруженной модели и токенизатора и рассмотреть этапы предварительной обработки: мы оценивали OpenLLaMA на широком спектре задач, используя lm-evaluation-harness. Результаты LLaMA генерируются путем запуска исходной модели LLaMA с теми же метриками оценки. Отметим, что наши результаты…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: CobraMamba
Теги: llama, gpt, llm, large language model, en, text-generation-inference
Лайков: 7 | Загрузок: 479
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
