В настоящее время существует проблема с тем, что модель генерирует случайные зарезервированные специальные токены (например, «») в конце. Пожалуйста, используйте с Skipspecialtokens=true. Мы сообщим, как только найдем причину такого поведения. Если вы нашли решение, сообщите нам!* Llama 3 DiscoLM German 8b v0.1 Experimental — это экспериментальная версия DiscoLM German на базе Llama 3. Это экспериментальная версия, не предназначенная для промышленного использования. Модель все еще находится в разработке и в будущем будет дополнена новыми функциями и улучшениями. Пожалуйста, найдите онлайн-демонстрацию здесь (мы можем отключить ее для обновлений). DiscoLM German использует ChatML в качестве формата приглашений, который обеспечивает совместимость конечных точек OpenAI и поддерживается большинством библиотек вывода и интерфейсов. Системные подсказки обеспечивают управляемость и новые интересные способы взаимодействия с LLM, определяя правила, роли и стилистический выбор модели. Это приглашение доступно в виде шаблона чата, что означает, что вы можете форматировать сообщения с помощью метода tokenizer.applychattemplate(): При токенизации сообщений для создания установите addgenerprompt=True при вызове applychattemplate(). К вашему запросу будет добавлен помощникn`, чтобы гарантировать, что модель…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: DiscoResearch
Теги: llama, conversational, text-generation-inference, endpoints_compatible
Лайков: 12 | Загрузок: 35
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
