Чат и поддержка: сервер Discord TheBloke Хотите внести свой вклад? Страница TheBloke на Patreon Работа TheBloke в области LLM щедро поддерживается грантом Андреессена Горовица (a16z) — Создатель модели: OpenOrca — Исходная модель: Mixtral SlimOrca 8X7B Этот репозиторий содержит файлы моделей формата GGUF для Mixtral SlimOrca 8X7B от OpenOrca. GGUF — это новый формат, представленный командой llama.cpp 21 августа 2023 года. Это замена GGML, который больше не поддерживается llama.cpp. Поддержка Mixtral была объединена с Llama.cpp 13 декабря. llama.cpp от 13 декабря KoboldCpp 1.52 и более поздние версии LM Studio 0.2.9 и более поздние версии llama-cpp-python 0.2.23 и более поздние версии Другие клиенты/библиотеки, не перечисленные выше, могут еще не работать. Модели GPTQ для вывода графического процессора с несколькими вариантами параметров квантования. 2, 3, 4, 5, 6 и 8-битные модели GGUF для вывода CPU+GPU * Оригинальная неквантованная модель fp16 OpenOrca в формате pytorch для вывода GPU и дальнейших преобразований. Эти GGUF Mixtral совместимы с llama.cpp с 13 декабря. Другие клиенты/библиотеки могут пока не работать. GGMLTYPEQ2K — 2-битное квантование «типа 1» в суперблоках, содержащих 16 блоков, каждый блок имеет вес 16. Блокировать…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: TheBloke
Теги: gguf, mixtral
Лайков: 24 | Загрузок: 319
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
