Это модель после этапа SFT, до применения DPO. DPO работает лучше в тестах, но эта версия, вероятно, лучше подходит для творческого письма, ролевых игр и т. д. Компания Massed Compute создала виртуальную машину (ВМ), предварительно загруженную TGI и веб-интерфейсом для генерации текста. 1) Для этой модели создайте учетную запись в Massed Compute. При аренде виртуальной машины используйте код «JonDurbin» для получения 50% стоимости аренды. 2) После создания учетной записи обновите свой счет и перейдите на страницу развертывания. 3) Выберите следующее — Тип графического процессора: A6000 — Количество графических процессоров: 2 — Категория: Создатель — Изображение: Джон Дурбин — Код купона: JonDurbin 4) Разверните виртуальную машину! 5) Перейдите к «Выполняемым экземплярам», чтобы получить инструкции по входу в виртуальную машину. 6) Оказавшись внутри виртуальной машины, откройте терминал и запустите Volume=$PWD/data 7) Запустите model=jondurbin/bagel-34b-v0.2 8) sudo docker run —gpus all —shm-size 1g -p 8080:80 -v $volume:/data ghcr.io/huggingface/text-generation-inference:1.3 —model-id $model 9) Загрузка модели займет некоторое время… 10) После загрузки модель будет доступна на порту 8080. Для помощи с виртуальной машиной присоединяйтесь к серверу Massed Compute Discord. Да, вы увидите имена тестов в списке, но для этого используются только…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: jondurbin
Теги: llama, conversational, text-generation-inference, endpoints_compatible
Лайков: 41 | Загрузок: 3,231
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
