~Что-то не так с форматом GGUF llama.cpp, нужно время, чтобы это исправить. https://github.com/ggerganov/llama.cpp/pull/4283~ Используйте последнюю версию llama.cpp с GGUF Quants: CausalLM/72B-preview-GGUF Используйте библиотеку преобразователей, которая не требует удаленного/внешнего кода для загрузки модели, AutoModelForCausalLM и AutoTokenizer (или вручную укажите LlamaForCausalLM для загрузки LM и GPT2Tokenizer для загрузки). Tokenizer), а квантование модели должно быть полностью совместимо с GGUF (llama.cpp), GPTQ и AWQ. Подробную информацию см. в предыдущих версиях 14B и 7B: https://huggingface.co/CausalLM/14B. Обратите внимание, что модель обучалась на нефильтрованных интернет-данных. Поскольку у нас нет возможности проверить все это, может присутствовать значительное количество нежелательного контента, порнографии, насилия и оскорбительных выражений, которые мы не сможем удалить. Таким образом, вам все равно придется выполнить собственные проверки безопасности модели и отфильтровать ключевые слова в выходных данных. Из-за ограничений вычислительных ресурсов мы в настоящее время не можем реализовать RLHF для этики и безопасности модели, а также провести обучение на образцах SFT, которые отказываются отвечать на определенные вопросы для…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: CausalLM
Теги: llama, qwen, en, zh, text-generation-inference, endpoints_compatible
Лайков: 68 | Загрузок: 786
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
