BharatGen представляет раннюю контрольную точку SFT (контролируемая точная настройка) для Param 1, двуязычной языковой модели, обученной с нуля на английском и хинди. Эта контрольная точка, содержащая 2,9 миллиарда параметров, основана на этапе предварительного обучения и служит основой для последующих задач, тестирования безопасности и настройки. Набор данных: 0,8 миллиона выборок Эпохи: 3 Планировщик: косинусный отжиг Скорость обучения: от 5e-6 до 5e-8 Оборудование для обучения: 32 графических процессора H200 Платформа: NVIDIA NeMo Точность**: смешанный bf16 Использовались отфильтрованные высококачественные двуязычные данные, объединяющие общедоступные и собственные источники для обеспечения безопасного и культурно значимого поведения. Сгенерировать выходные данные — с помощью torch.nograd(): выход = model.generate( inputs, maxnewtokens=300, dosample=True, topk=50, topp=0,95, температура=0,6, eostokenid=tokenizer.eostokenid, use_cache=False) сгенерированные токены = выход[0][inputs.shape[-1]:]generatedtext = tokenizer.decode(generatedtokens,skipspecial_tokens=True) ——————— | ————- | ————— | ———————— | ——————- | ——————- | —————- | > Примечания: > > Тесты отражают нулевую производительность после SFT. > PT = предварительно обученный Важно…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: bharatgenai
Теги: parambharatgen, conversational, custom_code, hi, en
Лайков: 19 | Загрузок: 1,167
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
