BharatGen представляет AgriParam, специализированную модель большого языка, доработанную на основе Param-1-2.9B-Instruct для высококачественного набора сельскохозяйственных данных, ориентированного на Индию. AgriParam предназначен для понимания и генерации контекстуально богатых ответов на сельскохозяйственные запросы, рекомендации фермерам, политическую информацию, результаты исследований и распространение знаний в сельской местности. AgriParam наследует архитектуру Param-1-2.9B-Instruct: Скрытый размер: 2048 Промежуточный размер: 7168 Головки внимания: 16 Скрытые слои: 32 Головки ключ-значение: 8 Макс. Точность: bf16-смешанная Базовая модель**: Param-1-2.9B-Instruct Базовая модель: Param-1-2.9B-Instruct Структура обучения: Hugging Face + многоузловая установка torchrun Шаблон запроса: Разработан специально для сельскохозяйственных выводов Планировщик: Линейный с прогревом Эпохи: 3 Всего обучающих выборок: 12M Тестовые выборки: 1,2M Базовая скорость обучения: 5e-6 Минимальная скорость обучения: 0 Дополнительно токены: , , , Размер словаря: 256 тыс. + 4 Размер глобального пакета: 1024 Размер микропакета: 4 Шаги накопления градиента**: 32…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: bharatgenai
Теги: parambharatgen, Multiturn, QnA, conversational, custom_code, en, hi
Лайков: 10 | Загрузок: 442
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
