Monad — это универсальная модель малого рассуждения с 56 миллионами параметров, обученная на 200 миллиардах токенов из SYNTH, полностью открытого универсального набора данных. По состоянию на 2025 год Monad является лучшим претендентом на звание самой маленькой жизнеспособной языковой модели. Несмотря на то, что Monad составляет менее половины gpt-2, Monad не только отвечает на последовательном английском языке, но и показывает значительно превосходящие результаты по MMLU и другим основным отраслевым тестам. Имя Монады является отсылкой к концепции Лейбница и общей идее наименьшей возможной единицы интеллекта. Монада изначально обучена получению инструкций со следами мышления. Мы реализовали ряд специализированных конвейеров для: Запоминания энциклопедических знаний (50 000 важных статей из Википедии), хотя в этом диапазоне размеров следует ожидать галлюцинаций. Поисково-дополненная генерация с заземлением (после наших первоначальных экспериментов с серией Pleias-RAG) Арифметические и простые математические задачи. Редактирование задач. Извлечение информации. Творческое письмо, включая необычные синтетические упражнения, такие как липограммы или макеты стихов. Монада строго одноязычна на английском языке. Мы обучили новый специальный токенизатор (вероятно, один из самых маленьких токенизаторов на сегодняшний день, менее 8000…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: PleIAs
Теги: llama, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 68 | Загрузок: 2,091
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
