Прямо квантованная 4-битная модель с битами и байтами. Исходный репозиторий для 4-битного преобразования: https://huggingface.co/alpindale/Mistral-7B-v0.2-hf. У нас есть ноутбук Google Colab Tesla T4 для Mistral 7b v2 (длина контекста 32 КБ) здесь: https://colab.research.google.com/drive/1Fa8QVleamfNELceNM9n7SeAGr_hT5XIn?usp=sharing Все ноутбуки дружелюбны к новичкам! Добавьте свой набор данных, нажмите «Запустить все», и вы получите в 2 раза более быструю точно настроенную модель, которую можно экспортировать в GGUF, vLLM или загрузить в Hugging Face. — Этот диалоговый блокнот полезен для шаблонов ShareGPT ChatML/Vicuna. — Этот блокнот для завершения текста предназначен для необработанного текста. Этот блокнот DPO копирует Zephyr. — * В Kaggle есть 2 T4, но мы используем 1. Из-за накладных расходов 1 T4 работает в 5 раз быстрее.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: unsloth
Теги: mistral, unsloth, mistral-7b, bnb, en, text-generation-inference, endpoints_compatible
Лайков: 24 | Загрузок: 149
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
