Эта модель была перезагружена для архивирования. Я никоим образом не связан с Егомнией и ее парнем. Немодифицированный файл readme ниже. Эмма-5 — это экспериментальный декодер большой языковой модели, разработанный Egomnia SpA и предназначенный только для итальянского языка. Модель предназначена для: — модерируемого спорного понимания — создания комплексного медиаконтента, не разработанного для критически важных с точки зрения безопасности приложений или многоэтапных рассуждений. — Типо: только для декодера GPT — Блоки трансформатора: 28 — Скрытый размер: 1,280 — Головки внимания: 16 запросов + 4 КВ (GQA 4:1) — Размер головки: 80 — Размер прямой связи: 3,456 (SwiGLU, ffmult 8/3) — Функция активации: SwiGLU — Нормализация: RMSNorm — Позиционное кодирование: RoPE (тета 10 000) — Отсев: 0,0 — Вложения: привязаны (встраивание токена = lmhead) — Длина контекста: 2,048 токена — Размер словаря: 50 000 токенов — Токенизатор: SentencePiece BPE с резервным байтом — Код: 40,48% — Генералиста: 39,46% — Энциклопедия: 15,68% — Libri: 3,07% — Разговорный: 0,73% — Politico: 0,55% — Предварительное обучение: шаг 200.000 — Точная настройка: SFT (3 эпохи) — DPO: disabilitato — Предварительная подготовка корпуса: 54,36 ГБ необработанных данных (~ 10,8 миллионов токенов) — Оригинальная структура: PyTorch -…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: eldavoo
Теги: onnxruntime, onnx, gpt, llm, italian, enterprise, swiGLU, gqa
Лайков: 7 | Загрузок: 138
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
