KeyLM-75M-Instruct — это языковая модель с 75 млн параметров, настроенная на инструкции, обученная с нуля примерно на 18 миллиардах токенов. Этот бюджет на обучение составляет лишь небольшую часть того, что используют сопоставимые небольшие модели (SmolLM-135M обучался примерно на 600B токенах, SmolLM2-135M — примерно на 2T). Несмотря на это, он конкурентоспособен по выполнению инструкций, превосходя SmolLM-135M-Instruct по IFEval, используя при этом примерно половину параметров и часть данных. 1. Краткое описание модели 2. Как использовать 3. Оценка 4. Обучение 5. Ограничения 6. Лицензия 7. Citation KeyLM — это компактный преобразователь, предназначенный только для декодера, построенный на основе стандартного рецепта малой модели, используемого Llama и Qwen3: внимание к групповым запросам, встраивание вращающихся позиций (RoPE), уровни прямой связи SwiGLU и QK-RMSNorm для каждой головы. Он предназначен для легкого общения на английском языке с малой задержкой и выполнения инструкций. Сборки GGUF для llama.cpp, LM Studio и Ollama доступны по адресу KeyLM-75M-Instruct-GGUF. Именно в этом KeyLM конкурентоспособен. Все строки оцениваются с помощью lmeval (ifeval`, 541 подсказка, жадное декодирование). KeyLM превосходит оригинальный SmolLM-135M-Instruct примерно в два раза меньшим размером и меньшим количеством обучающих данных. СмолЛМ2-135М-Инструкт, гораздо больше…
Модальности:
Генерация текста
Области применения:
Следование инструкциям Диалог / чат
Задача: Генерация текста
Автор: MinimaLabs
Теги: keylm75m, keylm, small-language-model, instruct, gqa, rope, swiglu, qk-norm
Лайков: 7 | Загрузок: 217
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
