Ouroboros-1M — это инженерное достижение, подтверждающее концепцию, которое масштабирует крошечную gemma-3-270m-it для поддержки контекстного окна на 1 миллион токенов. Это было достигнуто за счет частотной модуляции (масштабирование RoPE x128) и точной настройки самообучения на синтетических логических цепях. Он позволяет обрабатывать большие документы на оборудовании с чрезвычайно низкими ресурсами (даже на графических процессорах T4 или потребительских ноутбуках). Полные данные тестов доступны в файле тестового результата.json в этом репозитории.* 🛠️ Методика «Частота хака»: изменена базовая частота RoPE в файле config.json для сжатия восприятия расстояния. Петля Уроборос: модель генерировала собственные обучающие данные (логические головоломки) и была точно настроена на них, чтобы предотвратить «ступор» из расширенного контекста. Слияние: эта модель представляет собой полное объединение адаптера LoRA с базой, готовое к развертыванию.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: loaiabdalslam
Теги: gemma3_text, gemma-3, long-context, 1M-tokens, egypt-ai, merge, peft, conversational
Лайков: 9 | Загрузок: 6
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
