Эта модель была обучена с помощью H2O LLM Studio. — Базовая модель: Meta-llama/Llama-2-13b-hf — Обучена на 168 подсказках, которые генерируются для генерации ответов с несколькими вариантами вопросов (https://huggingface.co/datasets/fbellame/pdftoquizzllama13B). Здесь вы можете найти видео на YouTube, объясняющее процесс точной настройки: https://youtu.be/gXXkLVfiBVQ?si=b-RNVykuOLDPaTHb. здесь можно найти проект GitHub, используя эту модель https://github.com/fbellame/pdf-to-quizz/tree/feature/localmodel (ветвь localmodel и https://github.com/fbellame/pdf-to-quizz/tree/feature/tgi). Чтобы использовать модель с библиотекой трансформаторов на машине с графическими процессорами, сначала убедитесь, что у вас установлена библиотека трансформаторов. Также убедитесь, что вы передаете свой токен «huggingface» в конвейер, если модель находится в частном репозитории. — Либо оставьте token=True в конвейере и войдите в Hugginface_hub, запустив. Вы можете распечатать образец приглашения после этапа предварительной обработки, чтобы увидеть, как он передается в токенизатор: Альтернативно вы можете скачать h2oaipipeline.py, сохранить его рядом с блокнотом и самостоятельно построить конвейер из загруженной модели и токенизатора. Если модель и токенизатор полностью поддерживаются в…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: fbellame
Теги: llama, gpt, llm, large language model, h2o-llmstudio, en, text-generation-inference
Лайков: 22 | Загрузок: 13
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
