Это точно настроенная модель LlaMa с 7 параметрами, в которой используются полностью синтетические данные обучения, созданные https://github.com/jondurbin/airoboros. Я не рекомендую использовать эту модель! Результаты не особенно хороши и могут содержать «вредные» данные из-за взлома. Пожалуйста, посмотрите одну из обновленных моделей airoboros, чтобы получить гораздо больше удовольствия. Это был эксперимент, чтобы увидеть, можно ли использовать подсказку о «побеге из тюрьмы» для генерации более широкого диапазона данных, которые в противном случае были бы отфильтрованы усилиями OpenAI по выравниванию. Побег из тюрьмы действительно сработал с высоким уровнем успеха и заставил OpenAI генерировать более широкий спектр тем и меньше отказов отвечать на вопросы/инструкции по деликатным темам. Все модели и наборы данных airoboros предназначены и лицензированы только для исследовательского использования. Я использовал лицензию «cc-nc-4.0», но на самом деле на нее распространяется пользовательская/специальная лицензия, потому что: — базовая модель — LLaMa, у которой есть собственная специальная исследовательская лицензия — наборы данных были созданы с помощью OpenAI (gpt-4 и/или gpt-3.5-turbo), в котором есть пункт о том, что данные не могут использоваться для создания моделей, конкурирующих с openai. Итак, повторим: эта модель (и наборы данных) не может быть используется в коммерческих целях.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: jondurbin
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 15 | Загрузок: 904
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
