Мы представляем SOLAR-10.7B, усовершенствованную модель большого языка (LLM) с 10,7 миллиардами параметров, демонстрирующую превосходную производительность в различных задачах обработки естественного языка (NLP). Он компактен, но при этом невероятно мощный и демонстрирует непревзойденную производительность в моделях с параметрами ниже 30В. Мы представляем методологию масштабирования LLM, называемую глубинным масштабированием (DUS), которая включает в себя архитектурные изменения и постоянное предварительное обучение. Другими словами, мы интегрировали веса Mistral 7B в масштабированные слои и, наконец, продолжили предварительное обучение для всей модели. SOLAR-10.7B обладает замечательными характеристиками. Он превосходит модели с параметрами до 30В, превосходя даже недавнюю модель Mixtral 8X7B. Более подробную информацию можно найти в экспериментальной таблице. Solar 10.7B – идеальный выбор для тонкой настройки. SOLAR-10.7B обеспечивает надежность и адаптируемость для ваших потребностей в точной настройке. Наша простая точная настройка инструкций с использованием предварительно обученной модели SOLAR-10.7B приводит к значительному повышению производительности (SOLAR-10.7B-Instruct-v1.0). Эта модель предварительно обучена и способна просто генерировать случайный текст. Чтобы использовать его для общения, необходимо тонко настроить модель…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: upstage
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 319 | Загрузок: 18,786
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
