«Основная» ветвь содержит только measurement.json, скачайте одну из других ветвей для модели (см. ниже) Каждая ветвь содержит отдельные биты на вес, при этом основная содержит только meaurement.json для дальнейших преобразований. Используемые по умолчанию аргументы, за исключением случаев, когда биты на вес выше 6,0, в этот момент слой lm_head квантуется на 8 битов на вес вместо 6 по умолчанию. Original model: https://huggingface.co/mistralai/Mistral-Large-Instruct-2411 To download the main (only useful if you only care about measurement.json) branch to a folder called Mistral-Large-Instruct-2411-exl2: To download from a different branch, add the —revision parameter: Windows (which apparently doesn ‘t like _ in folders sometimes?):
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: bartowski
Теги: vllm, en, fr, de, es, it, pt, zh
Лайков: 4 | Загрузок: 28
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
