GGML с ChatGLM.cpp (рекомендуется): https://github.com/li-plus/chatglm.cpp GGUF (только текст, не рекомендуется): наблюдается значительное ухудшение даже при использовании F16. > Подсказка: как я могу проверить, правильно ли работают мои параметры вывода и квантованный вывод? Вы можете попробовать попросить модель прочитать «Дар волхвов» О. Генри (текст, являющийся общественным достоянием). Вы должны ожидать, что он воспроизведет весь текст точно, включая форматирование. Модель, обученная на наборе данных синтеза, насчитывающем более 120 миллионов записей. Этот набор данных был создан с помощью применения современных языковых моделей с использованием больших контекстных окон, а также методологий, подобных генерации с расширенным поиском и интеграции графов знаний, где синтез данных проводится в кластерах, полученных из курируемого корпуса предварительного обучения из 20 миллиардов токенов, с последующей проверкой, выполняемой самой моделью. Несмотря на отсутствие полного соответствия человеческим предпочтениям, модель не обязана учитывать плохо сконструированные подсказки или клише, часто встречающиеся в традиционных тестах. Бонус: в комплект входит реализация языковой модели Vision, которая прошла…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: CausalLM
Теги: chatglm, feature-extraction, custom_code, en, zh, ja, de, co2_eq_emissions
Лайков: 183 | Загрузок: 86
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
