> ПРИМЕЧАНИЕ. Этот репозиторий устарел в пользу моделей, найденных здесь. Этот репозиторий служит исключительно для размещения удаленных файлов, необходимых для запуска GemMoE с преобразователями. Если вы попытаетесь запустить обучение или вывод отсюда, это не сработает. Пожалуйста, обратитесь к новому расположению моделей, упомянутых выше. Я рад, что наконец-то могу поделиться бета-версией GemMoE, проекта, который стал плодом любви и свидетельством силы сотрудничества в сообществе искусственного интеллекта. GemMoE — это модель «Смесь экспертов» (MoE), которая сочетает в себе силу архитектуры Deepmind Gemma с индивидуально адаптированным подходом, обеспечивающим простоту обучения и вывода. По своей сути GemMoE состоит из 8 отдельно настроенных моделей Gemma, по 2 эксперта на каждый токен. Я тщательно исправил ошибки для Gemma, гарантируя, что вы сможете обучать и выполнять логические выводы с помощью GemMoE так же, как с любой другой моделью в библиотеке трансформеров. Моей целью было создать модель, которая была бы не только мощной, но и удобной для пользователя и доступной как для исследователей, разработчиков, так и для пользователей. Разработка GemMoE была сложной, но невероятно полезной. Хотя на этом пути я столкнулся с многочисленными препятствиями, с…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Crystalcareai
Теги: gemmoe, custom_code
Лайков: 79 | Загрузок: 28
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
