Мы представляем Bolmo, первое семейство конкурентоспособных полностью открытых языковых моделей на уровне байтов (LM) с масштабами параметров 1B и 7B. Эти модели байтифицируются с помощью короткой процедуры дополнительного обучения, которая начинается с предварительно обученных моделей серии Olmo. Мы публикуем весь код, контрольные точки и связанные с ними детали обучения. Bolmo дополнительно требуется пакет xlstm (для которого требуется Python>=3.11): Вы можете использовать Bolmo со стандартной библиотекой преобразователей HuggingFace: — Разработано: Институт Аллена для искусственного интеллекта (Ai2) — Тип модели: авторегрессионная языковая модель на уровне байтов. — Язык(и) (NLP): Английский. — Лицензия: Эта модель распространяется по лицензии Apache 2.0. Он предназначен для исследовательского и образовательного использования в соответствии с Руководством по ответственному использованию Ai2. — Контакт: Пресса: press@allenai.org — Дата окончания: декабрь 2024 г. — Данные: https://huggingface.co/datasets/allenai/bolmomix — Код: https://github.com/allenai/bolmo-core — Бумага:** https://allenai.org/papers/bolmo Как и любая базовая языковая модель или точно настроенная модель без защитной фильтрации, пользователи могут легко заставить эти модели генерировать вредоносный и конфиденциальный контент. Подобный контент также может быть создан непреднамеренно, особенно в…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: allenai
Теги: bolmo, custom_code, en
Лайков: 55 | Загрузок: 2,299
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
