Typhoon2-Qwen2.5-7B-Instruct: модель большого тайского языка (Instruct) Typhoon2-Qwen2.5-7B-Instruct — это большая языковая модель тайского 🇹🇭 с 7 миллиардами параметров, основанная на Qwen2.5-7B. — Тип модели: модель 7B, предназначенная только для декодера инструкций, на основе архитектуры Qwen2. — Требование: трансформеры 4.45.0 или новее. — Длина контекста: 128 КБ. Обратитесь к этому разделу [] за подробными инструкциями по развертыванию Typhoon2-Qwen2.5 для обработки длинных текстов. — Основной язык(и): тайский 🇹🇭 и английский 🇬🇧 — Лицензия: Apache-2.0 Текущий файл config.json настроен на длину контекста до 32 768 токенов. Для обработки обширных входных данных, превышающих 32 768 токенов, мы используем YaRN, метод улучшения экстраполяции длины модели, обеспечивающий оптимальную производительность при работе с длинными текстами. Для поддерживаемых платформ вы можете добавить следующее в config.json, чтобы включить YaRN: Для развертывания мы рекомендуем использовать vLLM. Если вы не знакомы с vLLM, обратитесь к нашей документации. В настоящее время vLLM поддерживает только статическую YARN, что означает, что коэффициент масштабирования остается постоянным независимо от длины входных данных, что потенциально влияет на производительность при работе с более короткими текстами. Мы советуем добавлять только конфигурацию веревочного масштабирования…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: typhoon-ai
Теги: qwen2, conversational
Лайков: 5 | Загрузок: 881
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
