Typhoon-S-ThaiLLM-8B-Instruct 🇹🇭 — это «суверенная», настроенная на инструкции модель большого тайского языка, основанная на ThaiLLM с упором на открытость и воспроизводимость с полностью открытым набором обучающих данных, обучающим кодом и техническим отчетом. Эта работа представляет собой раннюю попытку демократизировать постобучение на базовых моделях суверенного ИИ. Из-за растущей сложности современных конвейеров постобучения, используемых крупными лабораториями (например, DeepSeek, Qwen, Google, Nvidia), создание высококачественных независимых моделей с настройкой инструкций становится все более трудным без использования собственных моделей инструкций. Такая зависимость снижает эффективность методов адаптации независимой базовой модели, таких как непрерывное предварительное обучение, поскольку способности следовать инструкциям, приобретенные во время постобучения, часто теряются из-за катастрофического забывания. Этот проект основан на государственной базовой модели ThaiLLM и применяет методы постобучения, такие как: — Контролируемая точная настройка (SFT) — Дистилляция в соответствии с политикой (OPD). Все это достигается только за счет академического бюджета, что эквивалентно двум дням на одном узле H100. Основная цель — продемонстрировать, что возможно построить конкурентоспособную…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: typhoon-ai
Теги: qwen3, conversational, text-generation-inference, endpoints_compatible
Лайков: 6 | Загрузок: 2,831
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
