Это точно настроенная модель LlaMa с 33b параметрами qlora, использующая полностью синтетические данные обучения, созданные gpt4 через https://github.com/jondurbin/airoboros. По сути, это расширение версии 1.1 с тысячами новых обучающих данных и обновлением, позволяющим «PLAINFORMAT» в конце подсказок по кодированию просто печатать код без обратных кавычек или объяснений/использования/и т. д. Набор данных, используемый для точной настройки этой модели, доступен здесь, с особым упором на: — кодирование — математику/рассуждение (с использованием пар инструкций/ответов в стиле Orca ELI5) — викторины — ролевые игры — множественный выбор и заполнение пустых полей — ответы на вопросы, зависящие от контекста — теорию разума — разное/общее совместимо с версиями 7b/13b: Другими словами, это преамбула/системное приглашение, за которым следует один пробел, затем «ПОЛЬЗОВАТЕЛЬ:» (один пробел после двоеточия), затем приглашение (которое может содержать несколько строк, пробелов и т. д.), затем один пробел, за которым следует «ПОМОЩНИК:» (с одним пробелом после двоеточия). Чтобы запустить полную версию собственной версии Pytorch, вы можете использовать мою вилку FastChat, которая в основном…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: jondurbin
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 9 | Загрузок: 872
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
