Лучшая модель 3B в таблице лидеров Open LLM с производительностью, превосходящей dolly-v2-12b. Для выполнения приведенных выше тестов производительности мы используем современную систему оценки языковой модели. Мы доработали модель open-lama и превзошли исходную модель в нескольких подзадачах оценки, что сделало ее на данный момент самой эффективной 3B-моделью с производительностью, сравнимой с llama-7b. Базовая модель: openlm-research/openllama3b_v2. Чтобы использовать модель с библиотекой трансформаторов на машине с графическими процессорами, сначала убедитесь, что у вас установлены библиотеки Transformers, Acceleration и Torch. Вы можете распечатать образец приглашения после этапа предварительной обработки, чтобы увидеть, как он передается в токенизатор: Кроме того, вы можете скачать mambagptpipeline.py, сохранить его рядом с блокнотом и самостоятельно построить конвейер из загруженной модели и токенизатора. Если модель и токенизатор полностью поддерживаются в пакете преобразователей, это позволит вам установитьtrustremotecode=False. Вы также можете самостоятельно построить конвейер из загруженной модели и токенизатора и рассмотреть этапы предварительной обработки: внимательно прочтите этот отказ от ответственности перед использованием большой языковой модели, представленной в этом репозитории. Твой…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: CobraMamba
Теги: llama, gpt, llm, large language model, en, text-generation-inference
Лайков: 16 | Загрузок: 1,063
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
