[Гитхаб] | [Демо-версия Colab] | [Обнимающее лицо] | [Раздор] | [Твиттер] | [Блог] OpenMoE — это проект, целью которого является активизация сообщества MoE с открытым исходным кодом! Мы выпускаем семейство моделей большого языка смешанных экспертов (MoE) с открытым исходным кодом. Наш проект стартовал летом 2023 года. 22 августа 2023 года мы выпустили первую партию промежуточных контрольных точек (OpenMoE-base&8B) вместе с данными и кодом. [[Твиттер]](https://twitter.com/xuefz/status/1693696988611739947?s=61&t=Xc2k2W7vU_hlpNizGDCmOw). Впоследствии обучение OpenMoE-8B было завершено в ноябре 2023 года. После этого мы приступили к исследованиям модели масштаба 34B, которые продолжаются до сих пор. Как небольшая студенческая команда, вместо того, чтобы стремиться к лучшей модели с лучшими данными, вычислениями и человеческими ресурсами, мы посвящаем себя полному обмену нашими обучающими данными, стратегиями, архитектурой модели, весами и всем, что у нас есть, с сообществом. Мы надеемся, что этот проект будет способствовать исследованиям в этой многообещающей области и пригласит больше участников к совместной работе над проектами Министерства образования с открытым исходным кодом! [2024.01.12] Документ по проекту и дополнительные оценки находятся в стадии разработки. Для получения дополнительной информации о модели, обучении и оценках посетите наш GitHub…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: OrionZheng
Теги: llama, custom_code, text-generation-inference, endpoints_compatible
Лайков: 11 | Загрузок: 11
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
