(Эта модель представляет собой усовершенствованную версию SOLAR-10.7B-v1.0 для однооборотного разговора.) Мы представляем SOLAR-10.7B, усовершенствованную модель большого языка (LLM) с 10,7 миллиардами параметров, демонстрирующую превосходную производительность в различных задачах обработки естественного языка (NLP). Он компактен, но при этом невероятно мощный и демонстрирует непревзойденную производительность в моделях с параметрами ниже 30В. Мы представляем методологию масштабирования LLM, называемую глубинным масштабированием (DUS), которая включает в себя архитектурные изменения и постоянное предварительное обучение. Другими словами, мы интегрировали веса Mistral 7B в масштабированные слои и, наконец, продолжили предварительное обучение для всей модели. SOLAR-10.7B обладает замечательными характеристиками. Он превосходит модели с параметрами до 30В, превосходя даже недавнюю модель Mixtral 8X7B. Более подробную информацию можно найти в экспериментальной таблице. Solar 10.7B – идеальный выбор для тонкой настройки. SOLAR-10.7B обеспечивает надежность и адаптируемость для ваших потребностей в точной настройке. Наша простая точная настройка инструкций с использованием предварительно обученной модели SOLAR-10.7B приводит к значительному повышению производительности. Мы используем самые современные методы точной настройки инструкций…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: upstage
Теги: llama, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 648 | Загрузок: 28,178
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
