Maincoder-1B-ONNX — это ONNX-оптимизированная версия Maincoder-1B, кодо-ориентированной языковой модели, оптимизированной для задач генерации и завершения кода. Эта версия обеспечивает быстрый вывод с помощью среды выполнения ONNX на Python и запускается непосредственно в браузере с Transformers.js. — Оптимизация ONNX: Эффективный вывод с поддержкой ONNX Runtime и KV-cache — Кроссплатформенность: Запуск на Python, Node.js или непосредственно в браузере — Генерация кода: Оптимизация для задач завершения и генерации кода на Python. — Компактный размер: 1 миллиард параметров, достаточно легкий для работы на потребительском оборудовании. — Производительность SOTA: современная производительность на тестах кодирования Python HumanEval, HumanEval и MBPP . Maincoder использует современную архитектуру трансформаторного декодера с: — Rotary Position Embeddings: With theta of 1,000,000. — RMSNorm: Предварительная нормализация для стабильной тренировки. — Grouped Query Attention: 4:1 ratio of query to key-value heads. — Нормализация QK: RMSNorm применяется к запросам внимания и ключам. — SwiGLU MLP: Закрытые линейные блоки с активацией SiLU. — Длина контекста ограничена 2048 токенами — В основном оптимизирована для Python, производительность может варьироваться на других языках — Может генерировать код с ошибками или безопасностью…
Модальности:
Генерация текста
Области применения:
Генерация кода Диалог / чат
Языки программирования:
Python
Задача: Генерация текста
Автор: Maincode
Теги: transformers.js, onnx, llama, code, python, maincoder, code-generation, reinforcement-learning
Лайков: 4 | Загрузок: 17
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
