 Это квантованная версия anakin87/Phi-3.5-mini-ITA, созданная с использованием llama.cpp. Доработанная версия Microsoft/Phi-3.5-mini-instruct, оптимизированная для повышения производительности на итальянском языке. — Небольшая, но мощная модель с 3,82 миллиарда параметров. — Поддержка длины контекста 128 тыс. Для подробного сравнения производительности модели см. Таблицу лидеров для моделей итальянского языка. Модель небольшая, поэтому на Colab она работает без проблем. Также можно загрузить модель с помощью квантования. При использовании Transformers==4.44.2 параметр Trustremotecode=True необходим для внесения небольшого исправления ошибки в Phi3ForCausalLM. Прочтите это обсуждение для более подробной информации. ⚡ Модель совместима с Flash Attention 2, что ускоряет вывод. Чтобы включить ее, раскомментируйте параметр attnimplementation в приведенном ниже фрагменте кода.* Вы можете использовать модель для создания различных приложений искусственного интеллекта. Для оркестровки рекомендую использовать 🏗️фреймворк Haystack LLM. (спойлер: я работаю над этим, и он с открытым исходным кодом 😄)…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: QuantFactory
Теги: gguf, trl, phi3, spectrum, it, en, endpoints_compatible, conversational
Лайков: 4 | Загрузок: 311
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
