FP8 (F8_E4M3) квантованная версия Mistral-Nemo-Instruct-2407 с 512 эпохами. Протестировано на vLLM 0.5.3, но вам нужен этот патч, чтобы использовать его с vLLM 0.5.2: https://github.com/vllm-project/vllm/pull/6548 pip install mistralinference py fromhuggingfacehub import snapshot_download from pathlib import Path mistralmodelspath = Path.home().joinpath(‘mistralmodels’, ‘Nemo-Instruct’) mistralmodelspath.mkdir(parents=True, Existok=True) snapshotdownload(repoid=»mistralai/Mistral-Nemo-Instruct-2407″,allowpatterns=[«params.json», «consolidated.safetensors», «tekken.json»], localdir=mistralmodelspath) mistral-chat $HOME/mistralmodels/Nemo-Instruct —instruct —maxtokens 256 —temperature 0,35 Насколько дорого будет попросить мойщика окон вымыть все окна в Париже. Сделайте разумное предположение в долларах США. py из mistralinference.transformer import Трансформатор из mistralinference.generate импорт генерировать из mistralcommon.tokens.tokenizers.mistral import MistralTokenizer из mistralcommon.protocol.instruct.messages import UserMessage из mistral_common.protocol.instruct.request import ChatCompletionRequest tokenizer = Модель MistralTokenizer.fromfile(f»{mistralmodelspath}/tekken.json»)…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: FlorianJc
Теги: mistral, vllm, fp8, conversational, en, fr, de, es
Лайков: 8 | Загрузок: 15
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
