fibonacciai/Iran-v1

• طراحی شده از پایه برای زبان فارسی • درک اصطلاحات، ضرب‌المثل‌ها و Информационные материалы • Новости и новости GQA با کاهش ۷۵٪ مصرف حافظه • پشتیبانی از Flash Attention 2 • استنتاج سریع‌تر با SDPA • قابل اجرا Графический процессор 4 ГБ или 4 ГБ • 8-битное и 4-битное квантование • Внутреннее пространство • Информационная поддержка فارسی و انگلیسی • ترجمه خودکار بین دو زبان • درک مفاهیم بینافرهنگی Для получения дополнительной информации используйте преобразователь только для декодера. تولید متن خودرگرسیو 🏗️ مدل vocabsize ۳۲, ۰۰۰ اندازه واژه‌نامه (شامل ۸۰۰۰ توکن فارسی) 🏗️ مدلhiddensize ۴,۰۹۶ ابعاد نمایش پنهان 🏗️ مدل numhiddenlayers ۳۲ عمق شبکه (تعداد) لایه‌ها) 🎯 توجه numattentionheads ۳۲ تعداد سرهای Query 🎯 توجه numkeyvalueheads ۸ سرهای KV (نسبت GQA 4:1) 🎯 توجه смещение внимания False بدون بایاس (بهینه‌تر) 🧮 MLP промежуточный размер ۱۱,۰۰۸ ابعاد لایه میانی 🧮 MLP скрытый акт силу تابع فعال‌سازی Swish (SiLU) 📍 موقعیت maxpositionembeddings ۲,۰۴۸ حداکثر طول توالی 📍 موقعیتroptheta ۱۰,۰۰۰.۰ پایه فرکانس RoPE 📍 موقعیت rockescaling پویا (динамический) مقیاس‌دهی تطبیقی تا ۸ برابر 📊 نرمال‌سازی rmsnormeps 1e-6 اپسیلون RMSNorm 📌 نکته: برای اولین بار، مدل به صورت خودکار دانلود می‌شود (~۱۵…

Модальности:
Генерация текста

Области применения:
Диалог / чат

Задача: Генерация текста
Автор: fibonacciai
Теги: yasin, persian, llm, gpt, conversational, persian-nlp, iran, iran-v1
Лайков: 5  |  Загрузок: 38

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.