Кванты матрицы важности (imatrix) GGUF для https://huggingface.co/CausalLM/34b-beta. Матрица важности была обучена для 40 тысяч токенов (80 пакетов по 512 токенов) с использованием случайных данных. От автора модели: Пожалуйста, не используйте викитекст для калибровки квантования, поскольку весь викитекст был заново выровнен по синтетическому набору данных, и его распределение значительно отличается от исходного викитекста.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: dranger003
Теги: gguf, endpoints_compatible, conversational
Лайков: 7 | Загрузок: 38
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
