Демо:  Есть некоторые проблемы с весами модели с точки зрения точности. В следующем обновлении версии мы отменим некоторый прогресс и переобучим, чтобы исправить эти проблемы как можно скорее. Обратите внимание: не используйте временно «фреймворки ускоренного вывода», такие как VLLM. Вместо этого используйте Трансформеры для вывода. В противном случае из-за проблем с точностью качество вывода будет значительно ухудшено. Если вам нужен более быстрый вывод, вы можете временно рассмотреть возможность использования квантования q8_0 (быстрее и лучше, чем bf16 vllm только для этой модели) с llama.cpp или дождаться официальной версии. Будет исправлено в ближайшем обновлении следующей версии. Пожалуйста, не используйте викитекст для калибровки квантования, поскольку весь викитекст был заново выровнен по синтетическому набору данных, и его распределение значительно отличается от исходного викитекста. данные с https://huggingface.co/spaces/Yeyito/llmcontaminationdetector. Это должно быть безопасно. Он не обучался на эталонном уровне, но загрязнение набора обучающих данных неизбежно из-за ограничений по стоимости.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: CausalLM
Теги: llama, conversational, text-generation-inference, endpoints_compatible
Лайков: 66 | Загрузок: 8,623
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
