Встречайте LeoLM-Mistral, первую открытую и коммерчески доступную языковую модель German Foundation, созданную на базе Mistral 7b. Наши модели расширяют возможности Llama-2 на немецкий язык посредством постоянной предварительной подготовки на большом корпусе немецкого языка и, главным образом, текстов, специфичных для данной местности. Благодаря гранту на вычисления на новом суперкомпьютере HessianAI 42 мы выпускаем три базовые модели, обученные с длиной контекста 8 КБ. LeoLM/leo-mistral-hessianai-7b под Apache 2.0 и LeoLM/leo-hessianai-7b и LeoLM/leo-hessianai-13b под лицензией сообщества Llama-2 (70b также скоро появится! 👀). С этим выпуском мы надеемся открыть новую волну возможностей для немецких исследований LLM с открытым исходным кодом и коммерческих исследований и ускорить внедрение. Прочтите сообщение в нашем блоге или нашу статью (скоро выйдет препринт) для получения более подробной информации! Проект Бьёрна Плюстера и Кристофа Шумана в сотрудничестве с LAION и HessianAI. — Точная настройка: mistralai/Mistral-7B-v0.1 — Тип модели: языковая модель преобразователя, предназначенная только для каузального декодера — Язык: английский и немецкий — Лицензия: Apache 2.0 — Контактное лицо: LAION Discord или Björn Plüster Если вы хотите ускорить вывод с использованием flash-attention2, вам необходимо установить эти зависимости: Обратите внимание, что для обучения Mistral…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: LeoLM
Теги: mistral, en, de, text-generation-inference, endpoints_compatible
Лайков: 30 | Загрузок: 567
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
