Vulture-40B — это еще один усовершенствованный причинный LLM, предназначенный только для декодера, созданный Virtual Interactive (VILM) на базе знаменитого Falcon-40B от TII. Мы собрали новый набор данных из новостных статей и страниц Википедии на 12 языках (всего: 80 ГБ) и продолжаем процесс предварительной подготовки Falcon-40B. Наконец, мы создаем многоязычный набор учебных данных, следуя методам Альпаки. — Разработано: https://www.tii.ae — Доработано: Virtual Interactive — Язык(и) (NLP): английский, немецкий, испанский, французский, португальский, русский, итальянский, вьетнамский, индонезийский, китайский, японский и корейский — Время обучения: 1800 часов A100 — Спасибо TII за потрясающий Falcon в качестве базовой модели. — Большое спасибо Google за щедрые кредиты Cloud. Использование продукции без адекватной оценки рисков и мер по их снижению; любые варианты использования, которые можно считать безответственными или вредными. Vulture-40B обучается на крупномасштабном корпусе, представляющем Интернет, и он будет нести в себе стереотипы и предубеждения, обычно встречающиеся в Интернете. Мы рекомендуем пользователям Vulture-40B рассмотреть возможность его тонкой настройки для конкретного набора интересующих задач, а также для ограждений и соответствующих мер предосторожности, которые необходимо принять для любого производства…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: vilm
Теги: RefinedWeb, custom_code, ru, en, de, es, it, ja
Лайков: 8 | Загрузок: 378
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
