HyperCLOVAX-SEED-Text-Instruct-1.5B — это модель, разработанная NAVER, которая может понимать и генерировать текст. Он демонстрирует конкурентоспособные показатели по основным показателям, связанным с корейским языком и культурой. Кроме того, он поддерживает длину контекста до 16 тыс. токенов, что позволяет ему решать широкий спектр задач. — Архитектура модели: архитектура на основе трансформатора (плотная модель) — Количество параметров: 1,5B — Формат ввода/вывода: текст/текст (как входные, так и выходные данные имеют текстовый формат) — Длина контекста: 16 КБ — Дата окончания знаний: модель была обучена на данных до августа 2024 года. Данные обучения для HyperCLOVAX-Seed-Instruct-1.5B состоят из различных источников, включая наборы данных высокого качества. Процесс обучения проводился в четыре основных этапа: этап предварительного обучения 1, на котором модель обучается на большом объеме документов; Предварительное обучение, этап 2, ориентированный на дополнительное обучение с использованием высококачественных данных; Тонкая настройка отбраковочной выборки (RFT), направленная на расширение знаний модели в различных областях и ее сложных логических способностей; и контролируемая точная настройка (SFT), которая улучшает возможности модели по следованию инструкциям. Кроме того, из-за особенностей…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: naver-hyperclovax
Теги: llama, conversational, text-generation-inference, endpoints_compatible
Лайков: 155 | Загрузок: 2,159
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
