Питер Делобель, Франсуа Реми, Мирьям де Лоно, Томас Демистерtwittery-7b-dutch — это базовая модель с упором на голландский язык, включающая голландский токенизатор для лучшего понимания и создания голландского текста. Он построен на мистральной архитектуре и использует флэш-внимание для эффективной обработки в контекстном окне из 8192 токенов. Tweety-7b-dutch обучается на очищенном голландском наборе данных mC4 без тонкой настройки инструкций. Наша голландская модельtwittery-7b имеет лицензию Apache 2.0, что поощряет применение в исследованиях, создании контента и языковом анализе. — Токенизатор: голландский, 50 тыс. токенов (yhavinga/gpt-neo-1.3B-dutch) — Данные для предварительного обучения: Scraped Dutch (yhavinga/mc4nlcleaned) — Контекстное окно: 8196 токенов — Данные для обучения: 8,5 млрд токенов — Разработано: KU Leuven и UGent — Финансируется: KU Leuven BOF, VSC (Фламандский суперкомпьютерный центр), Vlaams AI-onderzoeksprogramma — Тип модели: Базовая модель — Лицензия: Apache 2.0 В качестве базовой модели twittery-7b-dutch предназначен для прямых приложений при генерации и понимании текста на голландском языке. В обучении использовались графические процессоры Nvidia H100 и A100. Вывод доступен на младших графических процессорах, практически на любом графическом процессоре, способном…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Tweeties
Теги: mistral, conversational, nl, text-generation-inference, endpoints_compatible
Лайков: 15 | Загрузок: 100
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
