LoRA-адаптер для модели YandexGPT-5-Lite-8B-pretrain обученный на миксе из датасетов реализующих r1 (ризонинг) подход. Обученная модель способна имитировать логические размышлению на русском языке по аналогии с тем, как это делает r1 от DeepSeek или o1 от OpenAI . W&B отчёт: https://api.wandb.ai/links/evilfreelancer/zj6s02v4 Обучение производилось при помощи утилиты impruver используя конфигурацию YandexGPT/8Blorar1. На всё про всё ушло примерно 18 часов на RTX 4090, при этом понадобилось 23.5Гб видеопамяти. Эффективный контекст 1400 токенов, так как больше не удалось уместить в 24Гб VRAM.
Модальности:
Генерация текста
Области применения:
Логика и рассуждение Диалог / чат
Задача: Генерация текста
Автор: evilfreelancer
Теги: peft, r1, reasoning, think, thinking, reflection, russian, general
Лайков: 3 | Загрузок: 16
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
