Zero-Mistral-Small — это улучшенная версия mistralai/Mistral-Small-24B-Instruct-2501, адаптированная в первую очередь для русского и английского языков. Обучение включало этап SFT на наборе данных GrandMaster-PRO-MAX. — Объединенная 16-битная версия — оригинальная объединенная 16-битная версия. — Адаптер LoRa для mistralai/Mistral-Small-24B-Instruct-2501 — F16 GGUF — BF16 GGUF — Q80 GGUF — Q4K_M GGUF — Оценка: 87,43 — 95% CI: +1,4 / -1,2 — нижняя: 86,22 — верхняя: 88,88 — avgtokens: 565,19 — stdtokens: 339,27 — lc_score: 55,37 Метрики: — Потери при обучении: 0,628300 — Потери при проверке: 0,704708 Модель можно использовать со следующими платформами; — vllm: см. здесь. — преобразователи: см. здесь. Мы рекомендуем использовать эту модель с библиотекой vLLM для реализации готовых к использованию конвейеров вывода. Примечание 1: Мы рекомендуем использовать относительно низкую температуру, например, температуру = 0,15. Примечание 2. Обязательно добавьте в модель системное приглашение, чтобы лучше адаптировать ее под свои нужды. Если вы хотите использовать модель в качестве общего помощника, мы рекомендуем следующую системную подсказку: Вы также можете использовать готовый образ Docker или в Docker Hub. Мы рекомендуем вам использовать Mistral-Small-24B-Instruct-2501 в конфигурации сервер/клиент.…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: ZeroAgency
Теги: vllm, mistral, chat, conversational, en, ru, text-generation-inference, endpoints_compatible
Лайков: 5 | Загрузок: 16
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
