Идеально подходит для работы в системе с двумя графическими процессорами, такой как 2×3090, с vLLM или SGlang: vllm служат Bullerwins/Devstral-Small-2505-fp8 —max-model-len 16000 —host 0.0.0.0 —port 5000 -tp 2 —tokenizermode mistral` Devstral — это агентский LLM для задач разработки программного обеспечения, созданный в сотрудничестве с Mistral AI и All Hands AI 🙌. Devstral отлично справляется с использованием инструментов для изучения кодовых баз, редактирования нескольких файлов и использования агентов разработки программного обеспечения. Модель демонстрирует замечательную производительность на SWE-bench, что позиционирует ее как модель с открытым исходным кодом №1 в этом тесте. Он доработан от Mistral-Small-3.1, поэтому имеет длинное контекстное окно до 128 тыс. токенов. В качестве агента кодирования Devstral работает только с текстом, и перед тонкой настройкой Mistral-Small-3.1 видеокодер был удален. Для предприятий, которым требуются специализированные возможности (расширенный контекст, знания в конкретной области и т. д.), мы выпустим коммерческие модели, выходящие за рамки того, что Mistral AI приносит сообществу. — Агентское кодирование: Devstral предназначен для решения задач агентного кодирования, что делает его отличным выбором для агентов по разработке программного обеспечения. — легкий вес: благодаря своему компактному размеру (всего 24 миллиарда параметров) Devstral достаточно легок для работы…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: bullerwins
Теги: vllm, mistral, text2text-generation, en, fr, de, es, pt
Лайков: 5 | Загрузок: 6
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
