🌐 Демо-страница | 🤗 Набор данных для предварительной подготовки | 🤗 Набор данных SFT | 🤗 Тест | 📖 arXiv | 💻 Код | 🤖 Модель чата Хотя модели большого языка (LLM) демонстрируют впечатляющие возможности в генерации текста, мы обнаруживаем, что их возможности еще предстоит распространить на музыку, творческий язык человечества. Мы представляем ChatMusician, LLM с открытым исходным кодом, который объединяет внутренние музыкальные способности. Он основан на постоянной предварительной подготовке и точной настройке LLaMA2 для текстового представления музыки, нотации ABC, а музыка рассматривается как второй язык. ChatMusician может понимать и генерировать музыку с помощью простого текстового токенизатора без каких-либо внешних мультимодальных нейронных структур или токенизаторов. Интересно, что музыкальные способности не вредят языковым способностям, даже при достижении немного более высокого балла MMLU. Наша модель способна сочинять хорошо структурированную полноценную музыку, основанную на текстах, аккордах, мелодиях, мотивах, музыкальных формах и т. д., превосходящую базовый уровень GPT-4. В нашем тщательно составленном тесте понимания музыки на уровне колледжа MusicTheoryBench ChatMusician с заметным отрывом превосходит LLaMA2 и GPT-3.5 при нулевых настройках. Наша работа показывает, что LLM могут быть отличным компрессором…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: m-a-p
Теги: llama, en, text-generation-inference, endpoints_compatible
Лайков: 14 | Загрузок: 23
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
