У нас есть бесплатный ноутбук Google Colab Tesla T4 для Mistral (7B) здесь: https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Mistralv0.3(7B)-Conversational.ipynb Все ноутбуки удобны для новичков! Добавьте свой набор данных, нажмите «Запустить все», и вы получите в 2 раза более быструю точно настроенную модель, которую можно экспортировать в GGUF, vLLM или загрузить в Hugging Face. — Этот разговорный блокнот Llama 3.2 (Conversational.ipynb) полезен для шаблонов ShareGPT ChatML/Vicuna. — Этот блокнот для завершения текста — TextCompletion.ipynb) предназначен для необработанного текста. Этот блокнот DPO копирует Zephyr. — Kaggle имеет 2x T4, но мы используем 1. Из-за накладных расходов 1x T4 работает в 5 раз быстрее. Mistral Small 3 (2501) устанавливает новый стандарт в категории «маленьких» больших языковых моделей ниже 70B, имея параметры 24B и достигая самых современных возможностей, сравнимых с более крупными моделями! Данная модель представляет собой доработанную по инструкции версию базовой модели: Mistral-Small-24B-Base-2501. Mistral Small можно развернуть локально, он исключительно «научен» и помещается в один RTX 4090 или MacBook с 32 ГБ ОЗУ после квантования. Идеально подходит для: — Диалоговых агентов быстрого реагирования. — Вызов функции с низкой задержкой. — Тема…
Модальности:
Генерация текста
Области применения:
Следование инструкциям Диалог / чат
Задача: Генерация текста
Автор: unsloth
Теги: gguf, mistral, unsloth, mistral-instruct, instruct, en, endpoints_compatible, conversational
Лайков: 27 | Загрузок: 9,541
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
