Arctic — это гибридная архитектура трансформатора с плотным MoE, предварительно обученная с нуля исследовательской группой Snowflake AI. Мы выпускаем модели контрольно-пропускных пунктов как для базовой, так и для доработанной версии Arctic под лицензией Apache-2.0. Это означает, что вы можете свободно использовать их в своих собственных исследованиях, прототипах и продуктах. Пожалуйста, посетите наш блог Snowflake Arctic: лучшая LLM для корпоративного искусственного интеллекта — эффективно интеллектуально, по-настоящему открыто, чтобы получить дополнительную информацию об Арктике и ссылки на другие соответствующие ресурсы, такие как наша серия кулинарных книг, охватывающая темы, посвященные обучению ваших собственных моделей MoE, созданию высококачественных обучающих данных и многому другому. Последние подробности о Snowflake Arctic, включая учебные пособия и т. д., можно найти в нашем репозитории на github: * https://github.com/Snowflake-Labs/snowflake-arctic Arctic объединяет модель плотного трансформатора 10B с остаточным MLP MoE 128×3,66B, в результате чего получается 480B всего и 17B активных параметров, выбранных с использованием топ-2 стробирования. Более подробную информацию об архитектуре модели Арктики, процессе обучения, данных и т. д. можно найти в нашей серии кулинарных книг. Арктика в настоящее время поддерживается трансформерами за счет использования функции пользовательского кода. Чтобы использовать ее, вам просто нужно добавить…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Snowflake
Теги: arctic, snowflake, moe, custom_code
Лайков: 70 | Загрузок: 315
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
