> [!ВНИМАНИЕ] > ⚠️ По настоятельному запросу Stichting BREIN, GEITje больше не доступен, начиная с немедленного. ⚠️ > > Все файлы модели (веса) и контрольные точки были удалены из этого репозитория. > См. мой пост в блоге (голландский, английский) для дальнейших разъяснений. GEITje — это большая открытая модель нидерландского языка с 7 миллиардами параметров, основанная на Mistral 7B. Далее он был обучен на 10 миллиардах токенов голландского текста. Это позволило улучшить его навыки голландского языка и расширить знания по нидерландским темам. GEITje создан на базе Мистраля 7Б. Это большая модель открытого языка с 7 миллиардами параметров, обученная Mistral AI. По данным Mistral AI, модель 7B работает лучше, чем Llama 2 13B во всех (англоязычных) тестах, на которых они ее тестировали. Mistral 7B выпущен под лицензией с открытым исходным кодом Apache 2.0. GEITje был создан путем дальнейшего обучения Mistral 7B на не менее чем 10 миллиардах токенов голландского текста из голландского Gigacorpus и корпуса веб-сканирования MADLAD-400. Это так называемая полнопараметрическая точная настройка: выполняется по всем параметрам. Это не точная настройка PEFT или LoRA. Как и Mistral, GEITje имеет длину контекста 8192 токена. В качестве демонстрации возможностей GEITje для…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Rijgersberg
Теги: tensorboard, mistral, generated_from_trainer, GEITje, conversational, nl, text-generation-inference, endpoints_compatible
Лайков: 17 | Загрузок: 10
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
