Простое квантование исходной модели. Эта модель должна соответствовать одному графическому процессору с видеопамятью объемом 24 ГБ, поддерживающему Exlalama v2. Также должен поддерживаться полный контекст 4096 на одном графическом процессоре, без запуска приложений dsktop на том же графическом процессоре. В идеале графический процессор должен быть полностью свободен от рабочего стола или приложений. Точная настройка Llama 2 70b с помощью https://huggingface.co/datasets/jondurbin/airoboros-gpt4-1.4.1. Информацию см. в предыдущей карточке модели llama 65b: https://hf.co/jondurbin/airoboros-65b-gpt4-1.4. Если вас интересуют новые функциональные возможности, в частности новый тип «инструктора» для генерации определенного типа обучающих данных, посмотрите в репозитории инструмента создания наборов данных: https://github.com/jondurbin/airoboros и либо сделайте PR, либо откройте проблему с подробностями. — https://bmc.link/jondurbin — ETH 0xce914eAFC2fe52FdceE59565Dd92c06f776fcb11 — BTC bc1qdwuth4vlg8x37ggntlxu5cjfwgmdy5zaa7pswf Базовая модель имеет специальную мета-лицензию: — См. мета-лицензию/LICENSE.txt прикрепленный файл оригинальной лицензии, предоставленной Meta. — См. также мета-лицензию/USE_POLICY.md и мета-лицензию/Responsible-Use-Guide.pdf, также предоставленные Meta. Данные для точной настройки были сгенерированы вызовами API OpenAI к gpt-4 через airoboros. Условия обслуживания для…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: LoneStriker
Теги: llama, endpoints_compatible
Лайков: 6 | Загрузок: 5
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
