OrcaMiniv81Llama-3.3-70B-Instruct обучен с использованием различных наборов данных SFT на Llama-3.3-70B-Instruct «Одержим потенциалом GenAI с открытым исходным кодом? Я тоже! Давайте внесем свой вклад 🚀 https://www.linkedin.com/in/pankajam». Указав надлежащие сведения об авторстве и авторстве, вы получаете разрешение использовать эту модель в качестве основополагающей основы для дальнейшего полного тонкая настройка, настройка DPO, PPO или ORPO и любые виды слияний. Я активно призываю пользователей настраивать и улучшать модель в соответствии с их конкретными потребностями, поскольку эта версия задумана как комплексная общая модель. Погружайтесь и внедряйте инновации! Ниже показан пример кода о том, как использовать эту модель в формате половинной точности (bfloat16), для нее требуется около ~ 133 ГБ видеопамяти. Ниже показан пример кода о том, как использовать эту модель в 4-битном формате через библиотеку bitsandbytes, для нее требуется около ~ 39 ГБ видеопамяти. Ниже показан пример кода о том, как использовать эту модель в 8-битном формате через библиотеку bitsandbytes, для нее требуется около ~ 69 ГБ видеопамяти. Ниже показан пример кода о том, как использовать инструмент с этим библиотека моделей и трансформаторов. Поскольку orcaminiv8170b основан на LLaMA-3.3, он поддерживает несколько форматов использования инструментов. Вы можете увидеть полное руководство по быстрому форматированию здесь.…
Модальности:
Генерация текста
Области применения:
Диалог / чат Математика
Задача: Генерация текста
Автор: pankajmathur
Теги: llama, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 5 | Загрузок: 19
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
