Мы вводим первую модель параметров 10,7 миллиарда (B), SOLAR-10,7B. Он компактный, но удивительно мощный и демонстрирует непревзойденную современную производительность в моделях с параметрами менее 30B. Мы разработали технику Depth Up-Scaling. Построенный на архитектуре Llama2, SOLAR-10.7B включает в себя инновационное Upstage Depth Up-Scaling. Затем мы интегрировали веса Mistral 7B в масштабированные слои и, наконец, продолжили предварительную подготовку для всей модели. Глубинный SOLAR-10.7B обладает замечательными характеристиками. Он превосходит модели с параметрами до 30B, даже превосходя последнюю модель Mixtral 8X7B. Для получения подробной информации, пожалуйста, обратитесь к экспериментальной таблице ([ссылка будет обновлена в ближайшее время]). Solar 10.7B — идеальный выбор для тонкой настройки. SOLAR-10.7B обеспечивает надежность и адаптируемость для ваших потребностей в тонкой настройке. Наша простая настройка инструкций с использованием предварительно обученной модели SOLAR-10.7B дает значительные улучшения производительности. [[ссылка будет обновлена в ближайшее время]] Эта модель предварительно обучена и способна генерировать случайный текст. Чтобы использовать его для чата, вы должны сначала точно настроить модель. Убедитесь, что установлена правильная версия библиотеки Transformers:…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: LoneStriker
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 3 | Загрузок: 20
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
