pip install git+https://github.com/huggingface/transformers.git Непосредственно квантованная 4-битная модель с битами и байтами. Мы неправильно изменили модель, чтобы гарантировать, что ее можно использовать на многих платформах. У нас есть ноутбук Google Colab Tesla T4 для Phi-3 (мини) здесь: https://colab.research.google.com/drive/1vIrqH5uYDQwsJ4-OO3DErvuv4pBgVwk4?usp=sharing И еще один ноутбук для Phi-3 (средний) здесь: https://colab.research.google.com/drive/1hhdhBa1jhsymiW9m-WzxQtgqTHNHqi?usp=sharing Все блокноты подходят для начинающих! Добавьте свой набор данных, нажмите «Запустить все», и вы получите в 2 раза более быструю точно настроенную модель, которую можно экспортировать в GGUF, vLLM или загрузить в Hugging Face. — Этот диалоговый блокнот полезен для шаблонов ShareGPT ChatML/Vicuna. — Этот блокнот для завершения текста предназначен для необработанного текста. Этот блокнот DPO копирует Zephyr. — * В Kaggle есть 2 T4, но мы используем 1. Из-за накладных расходов 1 T4 работает в 5 раз быстрее.
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: unsloth
Теги: mistral, unsloth, phi3, phi, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 45 | Загрузок: 3,907
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
