— Создатель модели: H2O.ai — Исходная модель: h2oai/h2o-danube3-4b-chat Этот репозиторий содержит файлы модели формата GGUF для h2o-danube3-4b-chat, квантованные с использованием инфраструктуры llama.cpp. В таблице ниже приведены различные квантованные версии h2o-danube3-4b-chat. Он показывает компромисс между размером, скоростью и качеством моделей. Столбцы в таблице: Имя — название модели и ссылка. Quantity Method — метод квантования. Размер модели — размер модели в гигабайтах. MT-Bench AVG — оценка теста MT-Bench. Оценка от 1 до 10, чем выше, тем лучше. Perplexity — показатель недоумения в наборе данных WikiText-2. Об этом сообщается в тесте на недоумение от llama.cpp. Чем ниже, тем лучше количество токенов в секунду — скорость генерации токенов в секунду, как сообщается в тесте на недоумение из llama.cpp. Чем выше, тем лучше. Тесты скорости проводятся на одном графическом процессоре H100.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: h2oai
Теги: gguf, gpt, llm, large language model, h2o-llmstudio, en, endpoints_compatible, conversational
Лайков: 22 | Загрузок: 9,016
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
