— Введение: LLM как IRC — Как использовать — Тестирование безопасности — Точная настройка — Ограничения — Ссылки — Лицензия — Цитирование Несколько статей (например, URIAL) показали, что базовые модели можно использовать более надежно, чем ожидалось. В то же время мы все чаще обнаруживаем, что RLHF и другие подходы после обучения могут ограничивать творческие способности студентов LLM. LLM могут быть больше, чем просто умными помощниками. Фактически, у них должна быть возможность имитировать все виды поведения или шаблоны, обнаруженные в их наборах данных перед обучением (обычно это большая часть Интернета). Ретрансляция ориентирована на конкретный шаблон, который должен относительно часто встречаться в наборах данных перед обучением: чаты IRC. IRC предоставляет богатый контекст для диалогового моделирования, сочетая естественный диалог с взаимодействием на основе команд. Тем не менее, это по-прежнему остается в значительной степени упущенным из виду. Мы обнаружили, что базовые LLM размером всего 12 байт могут быть достаточно знакомы с базовым форматированием IRC, чтобы обеспечить генерацию синтетических диалоговых наборов данных (см. Based-chat-v0.1). Эти синтетические диалоги затем можно использовать для точной настройки LLM для разблокировки надежных пошаговых диалогов в неявном контексте IRC, который также поддерживает использование команд. Предполагая…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: danlou
Теги: mistral, axolotl, conversational, text-generation-inference, endpoints_compatible
Лайков: 5 | Загрузок: 14
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
