Квантование GPTQ https://huggingface.co/ai-forever/ruGPT-3.5-13B Небольшой тест на недоумение: перед квантованием — ‘meanperplexity’: 10,241 после квантования — ‘meanperplexity’: 10,379. Поскольку это наспех составленный количественный анализ без предварительного опыта в квантовании, используйте версию https://huggingface.co/TheBloke, если он выпустит количественный показатель для этой модели.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: fffrrt
Теги: gpt2, endpoints_compatible
Лайков: 26 | Загрузок: 3
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.