HyperCLOVAX-SEED-Text-Instruct-0.5B — это модель преобразования текста в текст с возможностями следования инструкциям, которая превосходно подходит для понимания корейского языка и культуры. По сравнению с внешними конкурентами аналогичного масштаба он демонстрирует улучшенные математические характеристики и существенное улучшение возможностей корейского языка. HyperCLOVAX-SEED-Text-Instruct-0.5B на данный момент является самой маленькой моделью, выпущенной HyperCLOVAX, и представляет собой легкое решение, подходящее для развертывания в средах с ограниченными ресурсами, таких как периферийные устройства. Он поддерживает максимальную длину контекста 4K и функционирует как универсальная небольшая модель, применимая для широкого круга задач. Общая стоимость одного прогона обучения для HyperCLOVAX-SEED-Text-Instruct-0.5B составила 4,358 тыс. часов графического процессора A100 (примерно 6,537 тыс. долларов США), что в 39 раз ниже стоимости обучения модели QWEN2.5‑0,5B‑instruct. — Архитектура: трансформаторная (плотная модель). — Параметры: 0,57 Б (всего); 0,45 Б (исключая встраивания токенов, связанные встраивания) – Формат ввода/вывода: текст/текст – Максимальная длина контекста: 4 тыс. токенов – Дата прекращения знаний: обучение на данных до января 2025 г. Набор обучающих данных для…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: naver-hyperclovax
Теги: llama, conversational, text-generation-inference, endpoints_compatible
Лайков: 83 | Загрузок: 1,345
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
