Используйте библиотеку преобразователей, которая не требует удаленного/внешнего кода для загрузки модели, AutoModelForCausalLM и AutoTokenizer (или вручную укажите LlamaForCausalLM для загрузки LM, GPT2Tokenizer для загрузки Tokenizer), а квантование модели должно быть полностью совместимо с GGUF (llama.cpp), GPTQ и AWQ. Подробную информацию см. в предыдущих версиях 14B и 7B: https://huggingface.co/CausalLM/14B. Обратите внимание, что модель обучалась на нефильтрованных интернет-данных. Поскольку у нас нет возможности проверить все это, может присутствовать значительное количество нежелательного контента, порнографии, насилия и оскорбительных выражений, которые мы не сможем удалить. Таким образом, вам все равно придется выполнить собственные проверки безопасности модели и отфильтровать ключевые слова в выходных данных. Из-за ограничений вычислительных ресурсов мы в настоящее время не можем реализовать RLHF для этики и безопасности модели, а также провести обучение на образцах SFT, которые отказываются отвечать на определенные вопросы для ограничительной тонкой настройки.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: CausalLM
Теги: llama, yi, conversational, en, zh, text-generation-inference, endpoints_compatible
Лайков: 23 | Загрузок: 2
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
