Мы представляем MobileLLM-P1 или Pro, базовую языковую модель 1B из серии MobileLLM, предназначенную для обеспечения высококачественного и эффективного вывода на устройстве для решения широкого спектра задач общего языкового моделирования. Мы открываем исходный код двух вариантов модели: предварительно обученную базовую модель вместе с квантованными контрольными точками для вывода ЦП и ускорителя, а также версию, настроенную на инструкции, демонстрирующую конкурентоспособную производительность по сравнению с моделями в этом диапазоне размеров при выполнении таких задач, как вызов инструментов, ответы на вопросы, переписывание и обобщение. В настоящее время вы находитесь в репозитории MobileLLM-Pro (instruct). Дополнительные версии см. в следующих материалах: — Коллекция MobileLLM-Pro — MobileLLM-Pro-base — MobileLLM-Pro-base Int4 CPU Quantized — MobileLLM-Pro-base Int4 Accelerator Quantized — Высокая производительность перед обучением: база MobileLLM-Pro достигает впечатляющих результатов перед обучением, превосходя Gemma 3 1B и Llama 3.2 1B в среднем на 5,7% и 7,9% соответственно по рассуждениям. знания и критерии долговременного поиска. Такая производительность достигается за счет предварительного обучения на менее чем 2Т токенах с полностью открытым исходным кодом. — Контекстное окно 128 тыс.: модель поддерживает до 128 тыс. токенов, что обеспечивает понимание длительного контекста…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: facebook
Теги: llama4_text, facebook, meta, conversational, custom_code, en
Лайков: 160 | Загрузок: 388
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
