Baguettotron — это универсальная модель малого рассуждения с 321 миллионом параметров, обученная на 200 миллиардах токенов из SYNTH, полностью открытого универсального набора данных. Несмотря на то, что Baguettotron обучается на значительно меньшем количестве данных, он превосходит большинство SLM того же диапазона размеров в отраслевых тестах, не связанных с программированием, обеспечивая беспрецедентный баланс между памятью, общими рассуждениями, математическими вычислениями и производительностью поиска. Название является одновременно намеком на французское происхождение и необычную форму модели: с 80 слоями Baguettotron в настоящее время является самым глубоким SLM в своем диапазоне размеров. Багеттрон изначально был обучен инструкциям, содержащим следы мышления. Мы реализовали ряд специальных конвейеров для: Запоминания энциклопедических знаний (50 000 жизненно важных статей из Википедии). Поиска-дополненной генерации с заземлением (вслед за нашими первоначальными экспериментами с серией Pleias-RAG). Арифметических и простых математических задач. Редактирования задач. Извлечения информации. Творческое письмо, включая необычные синтетические упражнения, такие как липограммы или макеты стихов. * Кулинария (иначе модель не заслужила бы своего названия) Багеттотрон умеет читать и писать на основных европейских языках: французском, немецком, итальянском,…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: PleIAs
Теги: llama, conversational, en, fr, it, de, es, pl
Лайков: 238 | Загрузок: 4,979
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
