Это инструкция модели, настроенная на открытые наборы данных, выпущенные под самой либеральной лицензией apache-2.0 (другими словами, мы не используем никаких наборов данных, сгенерированных ChatGPT) — таким образом, мы можем выпустить эту модель под той же лицензией и сделать ее общедоступной для коммерческих приложений. Модель была настроена на длину контекста 4096, что вдвое больше токенов, чем в базовой модели. Опубликованные веса все еще находятся в стадии разработки и могут измениться в будущем. Это первая итерация настройки инструкций наших моделей NorMistral, и в настоящее время она использует только фазу SFT без какой-либо оптимизации предпочтений. Пожалуйста, дайте нам знать ваши отзывы, чтобы улучшить модель в будущих выпусках. 1. Мы собрали все общедоступные наборы данных: Aya, OASST 1, OASST 2, OIG-small-chip2, No Robots, Dolly и Glaive code Assistant. 2. Сначала они были проверены и отфильтрованы вручную, а затем автоматически отфильтрованы с помощью Mixtral-8x7B для удаления неправильных, оскорбительных, неанглоязычных и американо-ориентированных ответов. 3. Ответы были дополнены Mixtral-8x7B, чтобы сделать их более информативными. 4. Поскольку большая часть этого набора данных содержит только один поворот диалога, мы сгенерировали больше поворотов с помощью Mixtral-8x7B. 5. Наконец, мы…
Модальности:
Генерация текста
Области применения:
Следование инструкциям Диалог / чат
Задача: Генерация текста
Автор: norallm
Теги: gguf, mistral, norwegian, instruction, chat, conversational, no, nb
Лайков: 28 | Загрузок: 4,685
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
