> 💾 Версии GGUF доступны в этом же репозитории (limloop/whiff-mamba2-50M-v0.1): > bf16.gguf (brainscale float16) · q80.gguf` (квантованный 8-бит) Это маленькая языковая модель по архитектуре Mamba-2. Всего 50 миллионов параметров. Обучалась несколько месяцев на 8-ядерном CPU, потому что GPU у меня нет, а Mamba жрёт меньше памяти и ресурсов, чем трансформеры. Коротко: умеет писать грамматически грамотные тексты на английском и английском языках, вести диалоги, давать образные описания. Он не умеет ходить на вопросы, держать связь выше 100 жетонов и не впадать в повторы, если ей скучно. Главное: вся память модели о двадцати — это 20 слоёв × 48 процессов = 960 чисел. Запоминать на 512 токенов это объективно мало, поэтому после 100 токенов модель начинает «забывать», о чём писала. Одна эпоха, прогрессивное расширение контекста. Я не мог начать сразу с 512 токенов — модель бы не сошлась, да и я решил сэкономить время на обучении. Поэтому 8 этапов, каждый увеличивал либо контекст, либо пакет. Железо: процессор Ryzen 7 5700G, DDR4 32 ГБ. Время: В целом часов 200-300 (8-10 дней) чистого времени обучения. Все примеры — температура 0,4, 512 новых токенов. Никакой ручной фильтр, что сгенерировала…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: limloop
Теги: gguf, mamba2, mamba, ssm, causal-lm, conversational, ru, en
Лайков: 6 | Загрузок: 360
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
