Это генеративная текстовая модель, похожая на ламу, с масштабом 7 миллиардов, оптимизированная для сценариев использования диалогов и преобразованная для формата Hugging Face Transformers. Модель может похвастаться мощной поддержкой английского, китайского (как упрощенного, так и традиционного), японского и немецкого языков. С точки зрения недоумения модель кажется способной к почти неограниченной длине контекста. Однако, исходя из опыта и ограничений параметров, для оптимальной производительности рекомендуется использовать длину контекста в пределах 64 КБ. Хотя это рекомендуемый формат использования, входные данные в стиле Викуны также можно использовать для адаптации к определенным уже существующим сценариям приложений, например: Для вывода необходимо использовать Transformers версии 4.31.0 или более поздней. Словарь токенизатора этой модели был расширен до 39 424, в результате чего были добавлены некоторые распространенные символы CJK. Это улучшение было достигнуто за счет крупномасштабного обучения текста без присмотра и контролируемой грамматической доработки английского, китайского, японского и немецкого языков. В результате модель более адаптирована к многоязычной среде и может решать более широкий круг лингвистических задач. Теперь вы можете опробовать этот новый токенизатор на веб-странице на основе Javascript. Модель…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: JosephusCheung
Теги: llama, llama-2, en, zh, ja, de, text-generation-inference, endpoints_compatible
Лайков: 39 | Загрузок: 848
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
