Это параметр 7b, настроенный на 100 тысячах синтетических пар инструкция/ответ, сгенерированных gpt-3.5-turbo с использованием моей версии самообучения airoboros. Файл Instructions.jsonl был преобразован в стиль разговора, ожидаемый сценариями обучения FastChat, а затем обучен с помощью: Если мы используем gpt-3.5 в качестве базовой линии (как это сделал Wizardvicuna/vicuna), мы получаем следующие оценки: Как вы можете видеть, 7b Модель airoboros работает хорошо даже по сравнению с моделями 13b. Имейте в виду, что это модель, настроенная на инструкции, и она не очень подходит для общения в чате. Все модели и наборы данных airoboros предназначены и лицензированы только для исследовательского использования. Я использовал лицензию «cc-nc-4.0», но на самом деле на нее распространяется пользовательская/специальная лицензия, потому что: — базовая модель — LLaMa, у которой есть собственная специальная исследовательская лицензия — наборы данных были созданы с помощью OpenAI (gpt-4 и/или gpt-3.5-turbo), в котором есть пункт о том, что данные не могут использоваться для создания моделей, конкурирующих с openai. Итак, повторим: эта модель (и наборы данных) не может быть используется в коммерческих целях.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: jondurbin
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 25 | Загрузок: 1,710
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
