— [RU] Модель на базе Qwen3, адаптированная для задач генерации русского текста. — [RU] Finetune версия Qwen3, адаптированная для генерации русского текста. — [RU] Точная настройка под контролем LoRA выполнялась на 2xA100 графических процессорах NVIDIA в течение 12 часов в течение 1 эпохи на наборах данных: attn-signs/kolmogorov-3; attn-signs/русский код; — [RU] Цикл LoRA SFT был выполнен на двух NVIDIA A100, обучение длилось около 12 часов. Прогон полной эпохи датсетов: attn-signs/kolmogorov-3; attn-signs/русский код; — Разработано: [Reisen Raumberg (команда знаков внимания)] — Язык(и) (NLP): [RU/EN] — Доработано на основе модели: [Qwen3] Использованы DeepSpeed (этап 3), HF.Accelerator для распределенного обучения и объединенный AdamW. Часы работы графического процессора: 12 часов NVIDIA A100 Для обучения использовался HuggingFace Accelerator с Microsoft DeepSpeed (Stage 3) для распределения параметров и стейта оптимизатора, а также зафьюженный AdamW GPU часы: 12 часов NVIDIA A100
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: attn-signs
Теги: qwen3, conversational, ru, text-generation-inference, endpoints_compatible
Лайков: 5 | Загрузок: 10
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
