INSAIT представляет BgGPT-Gemma-2-2.6B-IT-v1.0, современную модель болгарского языка, основанную на google/gemma-2-2b и google/gemma-2-2b-it. BgGPT-Gemma-2-2.6B-IT-v1.0 можно использовать бесплатно и распространять в соответствии с Условиями использования Gemma. Эта модель была создана INSAIT, частью Софийского университета Св. Климента Охридского, в Софии, Болгария. Модель была построена на основе открытых моделей Google Gemma 2 2B. Он постоянно подвергался предварительному обучению примерно на 100 миллиардах токенов (85 миллиардов на болгарском языке) с использованием стратегии ветвления и слияния, представленной INSAIT на EMNLP’24, что позволило модели получить выдающиеся болгарские культурные и языковые возможности, сохранив при этом производительность на английском языке. На этапе предварительного обучения мы используем различные наборы данных, в том числе данные веб-сканирования на болгарском языке, свободно доступные наборы данных, такие как Википедия, ряд специализированных наборов данных на болгарском языке, полученных от Института INSAIT, а также машинные переводы популярных наборов данных на английский язык. Затем модель была доработана на основе недавно созданного болгарского набора данных инструкций, созданного с использованием реальных разговоров. Для получения дополнительной информации посетите наш блог. Мы оцениваем наши модели с помощью набора стандартных английских тестов, переведенного…
Модальности:
Генерация текста
Области применения:
Следование инструкциям Диалог / чат
Задача: Генерация текста
Автор: INSAIT-Institute
Теги: gemma2, instruct, bggpt, insait, conversational, bg, en, text-generation-inference
Лайков: 7 | Загрузок: 95
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
