1. Обучение JetMoE-8B обходится менее чем в 0,1 миллиона долларов1, но превосходит по производительности LLaMA2-7B от Meta AI, располагающей многомиллиардными ресурсами обучения. Обучение LLM может быть намного дешевле, чем люди думали ранее. 2. JetMoE-8B имеет полностью открытый исходный код и удобен для академических кругов, поскольку: — Он использует только общедоступные наборы данных для обучения, а код имеет открытый исходный код. Никаких собственных ресурсов не требуется. — Его можно настроить с помощью очень ограниченного вычислительного бюджета (например, графического процессора потребительского уровня), который может себе позволить большинство лабораторий. 3. JetMoE-8B имеет только 2,2 млрд активных параметров во время вывода, что значительно снижает вычислительные затраты. По сравнению с моделью с аналогичными вычислениями вывода, такой как Gemma-2B, JetMoE-8B обеспечивает постоянно лучшую производительность. 1 Мы использовали кластер графических процессоров 96×H100 в течение 2 недель, что стоило ~0,08 миллиона долларов. Онлайн-демонстрация Lepton AI: https://www.lepton.ai/playground/chat?model=jetmoe-8b-chat. В проекте участвуют Икан Шен, Чжэнь Го, Тяньлэ Цай и Цзэнъи Цинь. По техническим вопросам обращайтесь к Икан Шену. По вопросам СМИ и сотрудничества обращайтесь к Цзэнъи Цинь. Если у вас есть отличные идеи, но вам нужно больше ресурсов (графический процессор, данные, финансирование и т. д.), свяжитесь с MyShell.ai через…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: jetmoe
Теги: jetmoe, endpoints_compatible
Лайков: 252 | Загрузок: 2,495
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
