Это точно настроенная модель LlaMa с параметрами qlora 65b, в которой используются полностью синтетические данные обучения, созданные gpt4 через https://github.com/jondurbin/airoboros. В основном это расширение версии 1.1, но с моделью 65b и тысячами новых обучающих данных и обновлением, позволяющим «PLAINFORMAT» в конце подсказок по кодированию просто печатать код без обратных кавычек или объяснений/использования/и т. д. Набор данных, используемый для точной настройки этой модели, доступен здесь, с особым упором на: — кодирование — математику/рассуждение (с использованием пар инструкций/ответов в стиле Orca ELI5) — викторины — ролевые игры — множественный выбор и заполнение пустых полей — ответы на вопросы, зависящие от контекста — теорию разума — разное/общее совместимо с версиями 7b/13b: Другими словами, это преамбула/системное приглашение, за которым следует один пробел, затем «ПОЛЬЗОВАТЕЛЬ:» (один пробел после двоеточия), затем приглашение (которое может содержать несколько строк, пробелов и т. д.), затем один пробел, за которым следует «ПОМОЩНИК:» (с одним пробелом после двоеточия). Чтобы запустить полноценную версию Pytorch, вы можете использовать мою вилку…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: jondurbin
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 22 | Загрузок: 1,277
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
