Это компактный компилятор из ProgramAsWeights (PAW). Учитывая спецификацию на естественном языке, он выдает крошечную программу для каждой задачи — адаптер LoRA, который работает локально на интерпретаторе GPT-2 (124M) (достаточно мал для запуска в браузере). Это модель, вызываемая paw.compile (spec, compiler=»paw-4b-gpt2″). — Базовая модель компилятора: Qwen/Qwen3-4B-Instruct-2507 — Целевой интерпретатор: пользовательский GPT-2 (124M), позиционные вложения которого расширены с 1024 → 2048 (nctx=2048); токенизатор — Stock GPT-2 BPE. — Snapshot: 20260406 (see git tag 20260406`) — compiler/ — a finetuned Qwen3-4B-Instruct-2507 causal LM (the compiler). — loramapper.pt — the mapper head (trunk coefficient head learnable LoRA basis matrices) that turns the compiler’s hidden states into a LoRA program. — meta.json — lorarank=64, loraalpha=16, loranumbases=64, prefixsteps=64, target modules [cattn, cproj, cfc]`. 1. Компилятор 4B генерирует короткую «псевдопрограмму» (описание задачи плюс несколько примеров ввода/вывода) из спецификации 2. Маркеры префикса псевдопрограммы 64 текстового шаблона (spec) запускаются через компилятор; отобразитель считывает скрытые состояния префикса 64 и выдает матрицы LoRA A/B для каждого слоя как выученную смесь…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: programasweights
Теги: program-as-weights, compiler, lora, hypernetwork, endpoints_compatible
Лайков: 4 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
