Представляем лучшего LLM в отрасли. Почти так же хорош, как 70B, только 21.4B на основе saltlux/luxia-21.4b-alignment-v1.0 !UNA — ThePitbull 21.4B v2 Эта модель не была отравлена, чтобы получить высокие оценки и быть бесполезной. Мы выпускаем его, потому что это настоящее сочетание EQ и IQ в безумно мощной, умной и разговорной модели. Исходная модель: https://huggingface.co/fblgit/UNA-ThePitbull-21.4B-v2. Если размер модели превышает 50 ГБ, она будет разделена на несколько файлов. Чтобы загрузить их все в локальную папку, запустите: Вы можете либо указать новый локальный каталог (UNA-ThePitbull-21.4B-v2-Q8_0), либо загрузить их все на месте (./). Здесь Artefact2 предоставляет отличную статью с диаграммами, показывающими различные характеристики. Первое, что нужно выяснить, это насколько большую модель вы можете запустить. Для этого вам нужно выяснить, сколько у вас оперативной и/или видеопамяти. Если вы хотите, чтобы ваша модель работала как можно БЫСТРО, вам нужно поместить все это в видеопамять вашего графического процессора. Стремитесь к квантованию с размером файла на 1–2 ГБ меньше, чем общий объем видеопамяти вашего графического процессора. Если вам нужно абсолютно максимальное качество, сложите вместе оперативную память вашей системы и видеопамять вашего графического процессора, а затем аналогичным образом возьмите квант с размером файла на 1–2 ГБ меньше…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: bartowski
Теги: gguf, UNA, juanako, model-index, endpoints_compatible, imatrix, conversational
Лайков: 9 | Загрузок: 1,557
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
