Модель Llama2-70b в гибридном стиле (объясните + проинструктируйте). Пожалуйста, проверьте примеры ниже для обоих стилей. Вот список используемых наборов данных: Open-Platypus Alpaca WizardLM Dolly-V2 Образцы дельфинов (~ 200 тыс.) Orcaminisv1 Alpacaorca WizardLMorca Dolly-V2orca * Плюс еще наборы данных, которые я планирую выпустить как набор данных с открытым исходным кодом когда-нибудь в будущем. «Одержимы потенциалом GenAI? Я тоже! Давайте творить вместе 🚀 https://www.linkedin.com/in/pankajam» Мы оценили model_001 в широком спектре задач, используя Language Model Evaluation Harness от EleutherAI. Вот результаты по метрикам, используемым HuggingFaceH4 Open LLM Leaderboard. Для этой модели требовалось до 45 ГБ видеопамяти графического процессора в 4-битном режиме, чтобы ее можно было загрузить непосредственно на одиночный графический процессор RTX 6000/L40/A40/A100/H100 или двойной RTX 4090/L4/A10/RTX 3090/RTX A5000. Итак, если у вас есть доступ к машине с 45 ГБ GPU VRAM и установил на него веб-интерфейс OobaBooga. Вы можете просто загрузить эту модель, воспользовавшись ссылкой на репозиторий HF непосредственно на вкладке/странице «Модель» веб-интерфейса OobaBooga и просто используйте в ней опцию загрузки в 4 бита. После этого перейдите на вкладку/страницу по умолчанию в веб-интерфейсе OobaBooga и скопируйте приведенный выше формат приглашения в поле «Ввод» и наслаждайтесь! Ниже показан пример кода о том, как это использовать…
Модальности:
Генерация текста
Области применения:
Математика
Задача: Генерация текста
Автор: pankajmathur
Теги: llama, en, model-index, text-generation-inference, endpoints_compatible
Лайков: 5 | Загрузок: 116
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
