Этот репозиторий предоставляет квантованный по массе INT4 (W4A16) вариант IQuestLab/IQuest-Coder-V1-40B-Instruct, квантованный с помощью llm-компрессора и сохраненный в формате сжатых тензоров. Он может быть загружен для вывода непосредственно с помощью трансформаторов. — Метод: GPTQ (llm-compressor) — Схема: W4A16 (веса int4; активации остаются fp16/bf16) — Размер группы / блока: 128 — Симметричный: true — Actorder: статический — Игнорируемые модули: lmhead ` Вы используете устаревшее поведение IQuestCoderTokenizer по умолчанию. Это ожидаемо и просто означает, что унаследованное (предыдущее) поведение будет использоваться, поэтому для вас ничего не изменится. Если вы хотите использовать новое поведение, установите legacy=False. Это должно быть установлено только в том случае, если вы понимаете, что это значит, и внимательно прочитали причину, по которой это было добавлено, как объяснено в https://github.com/huggingface/transformers/pull/24565 Загрузка шардов контрольных точек: 100%██████████████████████████████████████████████████████████████████████████████ | | 5/5 [00:13 Вот пошаговые инструкции по созданию веб-приложения с использованием Django. Убедитесь, что на вашем компьютере установлен Python. Затем установите Django с помощью менеджера пакетов pip. Перейдите в нужный каталог и создайте…
Модальности:
Генерация текста
Области применения:
Диалог / чат Генерация кода Следование инструкциям
Задача: Генерация текста
Автор: xhxlb
Теги: iquestcoder, quantized, llm-compressor, gptq, w4a16, compressed-tensors, conversational, custom_code
Лайков: 3 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
