Доработанная версия Microsoft/Phi-3.5-mini-instruct, оптимизированная для повышения производительности на итальянском языке. 🔹 Маленькая, но мощная модель с 3,82 миллиарда параметров 🔹 Поддерживает длину контекста 128 тыс. — 💬🇮🇹 Общайтесь с моделью на Hugging Face Spaces — кванты GGUF 🏋️♂️ Хотите понять, как обучалась модель? Ознакомьтесь с 📖 полным пошаговым руководством и прилагаемым 💻 блокнотом. Модель небольшая, поэтому на Colab она работает без проблем. Также можно загрузить модель с использованием квантования. При использовании Transformers==4.44.2 параметр Trustremotecode=True необходим для внесения небольшого исправления ошибки в Phi3ForCausalLM. Прочтите это обсуждение для более подробной информации. ⚡ Модель совместима с Flash Attention 2, что ускоряет вывод. Чтобы включить ее, раскомментируйте параметр attnimplementation в приведенном ниже фрагменте кода.* Вы можете использовать модель для создания различных приложений искусственного интеллекта. Для оркестровки рекомендую использовать 🏗️фреймворк Haystack LLM. (спойлер: я работаю над этим, и он с открытым исходным кодом 😄) Эта модель совместима с компонентами HuggingFaceLocalGenerator и HuggingFaceLocalChatGenerator. Вы также можете развернуть модель с помощью контейнера TGI, а затем использовать ее с HuggingFaceAPIGenerator и соответствующим Chat…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: anakin87
Теги: phi3, trl, spectrum, conversational, custom_code, it, en, text-generation-inference
Лайков: 13 | Загрузок: 2,923
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
