— Создатель модели: H2O.ai. — Исходная модель: h2oai/h2o-danube3-500m-chat. Этот репозиторий содержит файлы модели формата GGUF для h2o-danube3-500m-chat, квантованные с использованием инфраструктуры llama.cpp. В таблице ниже приведены различные квантованные версии h2o-danube3-500m-chat. Он показывает компромисс между размером, скоростью и качеством моделей. Столбцы в таблице: Имя — название модели и ссылка. Quantity Method — метод квантования. Размер модели — размер модели в гигабайтах. MT-Bench AVG — оценка теста MT-Bench. Оценка от 1 до 10, чем выше, тем лучше. Perplexity — показатель недоумения в наборе данных WikiText-2. Об этом сообщается в тесте на недоумение от llama.cpp. Чем ниже, тем лучше количество токенов в секунду — скорость генерации токенов в секунду, как сообщается в тесте на недоумение из llama.cpp. Чем выше, тем лучше. Тесты скорости проводятся на одном графическом процессоре H100.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: h2oai
Теги: gguf, gpt, llm, large language model, h2o-llmstudio, en, endpoints_compatible, conversational
Лайков: 16 | Загрузок: 1,180
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
