> Модель скоро будет доступна для свободного скачивания! Эти модели недостаточно обучены и НЕ предназначены для завершения. Это только исследовательские артефакты. Mycel-LM — это исследовательская языковая модель с 79,2 млн параметров, блок микширования каналов которой не является MLP. Это дифференцируемая модель роста грибковой колонии с распознаванием соседей: каждый токен расширяется до колонии кончиков гиф, которые растут в ограниченной скрытой области, чувствуют общее поле плотности и управляют собственным ростом — «MLP» заменяется несколькими дифференцируемыми этапами роста колонии, считываемыми обратно в скрытое состояние. Это часть семейства моделей, которые задают единственный вопрос: может ли обобщающая способность трансформатора быть реализована необычной самоорганизующейся динамической системой вместо блока прямой связи? Mycel-LM сохраняет токенизатор, характеристики и данные семейства фиксированными и заменяет только микшер, так что это контролируемый эксперимент с родственными моделями Квазимото (чей микшер представляет собой банк связанных осцилляторов Курамото). > ⚠️Артефакт исследования, а не продукт. При ~79 миллионах параметров он беглый, но небольшой: он > хорошо моделирует форму языка и генерирует связный, грамматический текст, но > не соответствует фактам и будет уверенно…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Quazim0t0
Теги: custom-architecture, kuramoto, oscillator, mycelium, neighbour-sensing, experimental, research, spikewhale-tokenizer
Лайков: 5 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
