Эта модель представляет собой доработанную версию Rijgersberg/GEITje-7B для ряда синтетических наборов данных, включая данные gpt-3.5-turbo и gpt-4-turbo, много- и одноповоротные разговоры и код. Обучающий набор состоит примерно из 240 миллионов токенов. Модель была обучена с длиной контекста 8192. > [!WARNING] > Обратите внимание, что эта модель не согласована с DPO или другими методами. Поэтому на практике рекомендуется использовать вариант DPO этой модели. Если вы используете GEITje 7B Ultra (SFT) или любую из его производных или квантований, процитируйте следующий документ: Эта модель представляет собой SFT (настроенную в чате) версию Rijgersberg/GEITje-7B, которая, в свою очередь, основана на Mistral 7B и дополнительно предварительно обучена на голландских данных. Эта модель была обучена только на (синтетических) данных чата и не была специально согласована с помощью обучения с подкреплением. Модель может генерировать неправильный, вводящий в заблуждение и потенциально даже оскорбительный контент. Используйте на свой страх и риск. Поскольку модель была обучена на синтетических данных, созданных с помощью сервисов OpenAI/Azure, ее нельзя использовать в коммерческих целях. Данные для обучения состоят из старых наборов данных, которые были переведены на голландский язык с помощью OpenAI gpt-3.5-turbo (alpaca, dolly, stackoverflow), и более новых…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: BramVanroy
Теги: mistral, alignment-handbook, trl, sft, geitje, conversational, nl, text-generation-inference
Лайков: 5 | Загрузок: 7
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
