Первая специализированная модель кода Luau/Roblox, построенная на архитектуре Qwen3 Mixture-of-Experts. 30 миллиардов параметров, 3 миллиарда активных на каждый токен, обученных на 28 005 реальных скриптах Luau. Эта модель пишет Luau так, как это делают опытные разработчики Roblox. Он понимает игровые сервисы, манипулирование экземплярами, инфраструктуры пользовательского интерфейса, сетевые шаблоны, API рисования, метатаблицы и каждый важный аспект движка Roblox. Потеря снизилась с 2,0 до 0,5 за 1663 шага. Модель быстро обучалась — шаблоны Луау последовательны, а набор данных чист. Рекомендуется: iqk5 для графических процессоров 16 ГБ (наилучшее качество на байт), q4km для карт 24 ГБ, bf16 для серверов. > Квант IQK-5 использует рецепт смешанной точности Икавракова: уровни внимания получают IQ4KS (высокое качество), экспертные веса получают IQ2K (агрессивный, но безопасный — только 8 из 128 экспертов стреляют на каждый токен), а маршрутизатор получает Q8_0. Результат соответствует или превосходит недоумение bf16 при 1/5 размера. Стандартное квантование (Q4KM, Q5KM) применяет одинаковое сжатие к каждому слою. IQK умнее — он использует смешанную точность для каждого типа слоя: — Слои внимания → IQ4KS (высокое качество, они определяют способность к рассуждению) — Экспертные веса → IQ2K (агрессивные, но только 8 из 128 экспертов…
Модальности:
Генерация текста
Области применения:
Генерация кода Диалог / чат
Задача: Генерация текста
Автор: bostonstrong567
Теги: gguf, luau, roblox, code, qwen3, moe, unsloth, lora
Лайков: 5 | Загрузок: 342
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
