Это реплика Qwen/Qwen-7B-Chat, модифицированная LLaMA (исходная версия до 25.09.2023), откалиброванная для соответствия исходной структуре модели, подобной LLaMA/LLaMA-2. Вы можете использовать LlamaForCausalLM для вывода модели, которая аналогична моделям LLaMA/LLaMA-2 (с использованием GPT2Tokenizer, преобразованного из исходного tiktoken, созданного vonjack). Модель была отредактирована и теперь имеет белую маркировку, что означает, что модель больше не будет называть себя Qwen. До сих пор модель подвергалась численному выравниванию весов и предварительному обучению с подкреплением, чтобы привести ее в соответствие с исходной моделью. Некоторые ошибки и устаревшие знания устранены с помощью методов редактирования модели. Эта модель остается полностью эквивалентной исходной версии, без какой-либо специальной контролируемой точной настройки последующих задач или других обширных наборов данных диалога. Проблема: по сравнению с исходным Qwen-7B-Chat, получившим 53,90 в MMLU и 54,18 в CEval (val), наши оценки немного снизились [-0,42 в MMLU, -0,05 в CEval (val)] из-за недостаточной перенастройки. 这是 通义千问 Qwen/Qwen-7B-Chat (25.09.2023 之前的原始版本) 的 LLaMA化版本，经过重新校准以适应原始的类似 LLaMA/LLaMA-2 的模型结构。 您可以使用 LlamaCausalLM进行模型推理，和 LLaMA/LLaMA-2 保持一致（使用由 vonjack 从原始…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: JosephusCheung
Теги: llama, qwen, llama-2, en, zh, text-generation-inference, endpoints_compatible
Лайков: 95 | Загрузок: 804
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
