Rain-100M — экспериментальная языковая модель, обученная с нуля на основе архитектуры Qwen3. Корпус обучения: HuggingFaceFW/fineweb-edu Всего токенов: ~3B Язык: только английский Токенизатор: Недавно обученный 16 тыс. BPE (оптимизирован для небольших/компактных моделей) Максимальная длина последовательности**: 4096 Параметры: ~100M Слои: 12 слоев-трансформеров Скрытый размер: 768 Головки внимания: 12 Размерность MLP: 2048 Активация: SiLU Вес dtype: bfloat16 RMSNorm eps: 1e-6 RoPE θ: 10000 Схема вывода: трансформаторы Обучение только на английских данных; слабые или отсутствующие возможности на других языках, не подходят в качестве модели чата общего назначения или для случаев использования, критически важных для безопасности. Никакого согласования на уровне системы или точной настройки безопасности не применялось. При локальном использовании этой модели также соблюдайте лицензии набора данных Fineweb-edu и компонентов, связанных с преобразователями/Qwen3. Версия: HuggingFaceFW/fineweb-edu Tokens Версия: 约 3B Версия: 仅英语 Tokenizer: 全新训练的 16k BPE（面向轻量模型优化) Типоразмеры**: 4096 Типоразмер: 100M Типоразмер: 12 Типоразмер трансформатора: 768 Типоразмер: 12 Типоразмер: 2048 Изображение: SiLU Изображение: bfloat16 RMSNorm eps: 1e-6 RoPE θ: 10000 Изображение: трансформаторы
Модальности:
Генерация текста
Задача: Генерация текста
Автор: raincandy-u
Теги: qwen3, en, text-generation-inference, endpoints_compatible
Лайков: 18 | Загрузок: 35
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
