Это модель Лама-2-70Б, совмещенная с несколькими адаптерами соответствующими методами. Набор данных 40K в стиле Orca. Этот набор данных представляет собой отфильтрованное подмножество OpenOrca-GPT4 и airoboros-gpt4-1.4.1. Саманта сделана Эриком Хартфордом и очищена нами, около 6,5 тыс. семплов. oasst1, очищенный нами и содержащий около 80 тыс. сэмплов. Данные о заблуждениях, сгенерированные с помощью генератора данных о заблуждениях в airoborosrepo, около 0,5 тыс. выборок. GPT-4 Многоходовые разговоры. Этот набор данных представляет собой отфильтрованную смесь openchatsharegpt4 и Puffin, содержащую около 8 000 образцов. Мы обучаем наши адаптеры с помощью разветвленного репозитория QLoRA от jondubin. Мы добавляем поддержку многооборотных диалоговых данных из фастчата с небольшими изменениями. Для обучения наших адаптеров мы используем сценарий оболочки bash, аналогичный airoboros-70b-gpt4-1.4.1. Мы объединяем несколько адаптеров с Lama-2-70B с более новой стратегией, чем наша модель v1. Подробности объединения нескольких адаптеров будут представлены в нашей следующей статье. На эту модель распространяются ограничения лицензии и использования оригинальной модели Llama-2. И поставляется без каких-либо гарантий или гарантий любого рода. «Лама 2» и доработанные варианты — это новая технология, использование которой сопряжено с риском. Проведенное на сегодняшний день тестирование показало…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: ICBU-NPU
Теги: llama, en, text-generation-inference, endpoints_compatible
Лайков: 43 | Загрузок: 916
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
