Мы представляем Solar Pro Preview, усовершенствованную модель большого языка (LLM) с 22 миллиардами параметров, предназначенную для использования в одном графическом процессоре. Solar Pro Preview демонстрирует превосходную производительность по сравнению с LLM с менее чем 30 миллиардами параметров и обеспечивает производительность, сравнимую с моделями, в три раза превышающими ее размер, такими как Llama 3.1 с 70 миллиардами параметров. Solar Pro Preview разработан с использованием расширенной версии нашего предыдущего метода масштабирования глубины, который масштабирует среднюю модель Phi-3 с 14 миллиардами параметров до 22 миллиардов параметров, предназначенную для работы на графическом процессоре с 80 ГБ видеопамяти. Наша тщательно подобранная стратегия обучения и набор данных значительно повысили производительность по сравнению с Phi-3-medium, особенно в тестах MMLU-Pro и IFEval, которые важны для оценки знаний модели и способности следовать инструкциям. Solar Pro Preview — это предварительная версия официального Solar Pro с ограничениями по языковому охвату и максимальной длиной контекста 4K. Однако мы считаем, что Solar Pro Preview не только выделяется как высокоэффективная и функциональная модель, но и имеет потенциал для дальнейшего расширения, чтобы охватить больше языков и возможностей. Официальная версия Solar Pro будет…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: upstage
Теги: solar, nlp, conversational, custom_code, en
Лайков: 456 | Загрузок: 14,009
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
