Загруженная 4-битная версия: https://huggingface.co/mattshumer/ref70e3 с предлагаемым шаблоном чата, температурой и top_p. Reflection 70B (в настоящее время) является лучшим в мире LLM с открытым исходным кодом, обученным с использованием новой методики под названием Reflection-Tuning, которая учит LLM обнаруживать ошибки в своих рассуждениях и корректировать курс. Все протестированные тесты были проверены на загрязнение с помощью программы LLM Decontaminator от LMSys. При бенчмаркинге мы изолируем и сравниваем только этот раздел. Обучившись на Llama 3.1 70B Instruct, вы можете выполнять выборку из Reflection 70B, используя тот же код, конвейеры и т. д., что и для любой другой модели Llama. Он даже использует стандартный формат шаблона чата Llama 3.1 (хотя мы обучили его нескольким новым специальным токенам, помогающим в рассуждениях и размышлениях). Во время выборки модель начнет с вывода рассуждений внутри и тегов, а затем, как только она будет удовлетворена своими рассуждениями, она выведет окончательный ответ внутри и тегов. Каждый из этих тегов представляет собой специальные токены, встроенные в модель. Это позволяет модели отделить свои внутренние мысли и рассуждения от окончательного ответа, улучшая взаимодействие с пользователем. Внутри раздела модель может выводить одно или…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: unsloth
Теги: llama, unsloth, llama-3, conversational, 4-bit, bitsandbytes
Лайков: 14 | Загрузок: 40
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
