Чат и поддержка: сервер Discord TheBloke Хотите внести свой вклад? Страница TheBloke на Patreon Работа TheBloke в области LLM щедро поддерживается грантом от Андреессена Горовица (a16z) — Создатель модели: VAGO Solutions — Исходная модель: SauerkrautLM 7B HerO Этот репозиторий содержит файлы моделей AWQ для SauerkrautLM 7B HerO от VAGO Solutions. Эти файлы были квантованы с использованием оборудования, любезно предоставленного Massed Compute. AWQ — это эффективный, точный и невероятно быстрый метод квантования с низким весом, который в настоящее время поддерживает 4-битное квантование. По сравнению с GPTQ он обеспечивает более быстрый вывод на основе преобразователей с эквивалентным или лучшим качеством по сравнению с наиболее часто используемыми настройками GPTQ. — Генерация текста Webui — с использованием загрузчика: AutoAWQ — vLLM — Только модели Llama и Mistral — Вывод генерации текста Hugging Face (TGI) — Трансформеры версии 4.35.0 и более поздних версий из любого кода или клиента, который поддерживает Трансформеры — AutoAWQ — для использования из моделей AWQ кода Python для вывода графического процессора. Модели GPTQ для вывода графического процессора с несколькими вариантами параметров квантования. 2, 3, 4, 5, 6 и 8-битные модели GGUF для вывода CPU+GPU. Оригинальная неквантованная модель fp16 решений VAGO в формате pytorch для вывода GPU и…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: TheBloke
Теги: mistral, finetune, chatml, augmentation, german, conversational, en, de
Лайков: 4 | Загрузок: 10
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
