Чат и поддержка: мой новый сервер Discord Хотите внести свой вклад? Страница TheBloke на Patreon. Она была создана путем объединения дельт, представленных в приведенном выше репозитории, с исходной моделью Llama 7B с использованием кода, представленного на их странице Github. Модели 13B: неквантованная модель 13B 1.1 для графического процессора — формат HF, квантованный GPTQ, 4 бита 13B 1.1 для графического процессора — защитные датчики и форматы pt * 2, 3, 4, 5, 6 и 8-битные модели GGML для вывода ЦП. Модели 7B: неквантованная модель 7B 1.1 для графического процессора — формат HF, квантованный GPTQ, 4 бита 7B 1.1 для графического процессора — безопасные датчики и форматы pt * 2, 3, 4, 5, 6 и 8-битные модели GGML для вывода ЦП. Предоставляются два файла модели. В идеале используйте файл Safetensors. Полная информация ниже: Подробная информация о предоставленных файлах: vicuna-7B-1.1-GPTQ-4bit-128g.safetensors Формат Safetensors с улучшенной безопасностью файлов, созданный с использованием последней версии кода GPTQ-for-LLaMa. Команда для создания: python3 llama.py vicuna-7B-1.1-HF c4 —wbits 4 —true-sequential —act-order —groupsize 128 —savesafetensors vicuna-7B-1.1-GPTQ-4bit-128g.safetensors vicuna-7B-1.1-GPTQ-4bit-128g.no-act-order.pt Создан файл формата pt. без флага —act-order. Этот файл может иметь немного более низкое качество, но он включен, поскольку его можно использовать без…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: TheBloke
Теги: llama
Лайков: 58 | Загрузок: 45
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
