kakaocorp/kanana-nano-2.1b-instruct

🤗 Модели &nbsp | &nbsp 📕 Блог &nbsp | &nbsp 📜Технический отчет | &nbsp 💻 Github Мы представляем Kanana, серию двуязычных языковых моделей (разработанных Kakao), которые демонстрируют превосходную производительность на корейском языке и конкурентоспособную производительность на английском языке. Вычислительные затраты Kanana значительно ниже, чем у современных моделей аналогичного размера. В отчете подробно описаны методы, используемые во время предварительного обучения для создания эффективных в вычислениях, но конкурентоспособных моделей, включая высококачественную фильтрацию данных, поэтапное предварительное обучение, масштабирование глубины, а также обрезку и дистилляцию. Кроме того, в отчете излагаются методологии, используемые во время постобучения моделей Kanana, включая контролируемую точную настройку и оптимизацию предпочтений, направленные на повышение их возможностей для беспрепятственного взаимодействия с пользователями. Наконец, в отчете подробно рассматриваются возможные подходы, используемые для адаптации языковой модели к конкретным сценариям, такие как встраивание, вызов функций и поисковая дополненная генерация (RAG). Серия моделей Kanana охватывает от 2,1 млрд до 32,5 млрд параметров, при этом 2,1 млрд моделей (базовая, инструкция, встраивание, вызов функций и RAG) публично выпущены для содействия исследованиям корейского…

Модальности:
Генерация текста

Области применения:
Диалог / чат Следование инструкциям

Задача: Генерация текста
Автор: kakaocorp
Теги: llama, conversational, en, ko, text-generation-inference, endpoints_compatible
Лайков: 75  |  Загрузок: 3,106

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.