Эта модель предназначена для использования в Gensyn RL Swarm для локальной точной настройки с использованием однорангового обучения с подкреплением после обучения. После точной настройки модель можно использовать как обычно в любом рабочем процессе. Подробную информацию о том, как это сделать, см. в исходной документации модели. Более подробную информацию об исходной модели можно найти в исходном репозитории здесь. Этот репозиторий содержит немодифицированную версию модели 0.5B Qwen2.5, настроенной с помощью инструкций, которая имеет следующие особенности: — Тип: причинно-следственные языковые модели — Этап обучения: предварительное и постобучение — Архитектура: преобразователи с RoPE, SwiGLU, RMSNorm, смещением Attention QKV и встраиванием связанных слов — Количество параметров: 0,49B — Количество параметров (не встраивание): 0,36B — Количество слоев: 24 — Количество заголовков внимания (GQA): 14 для Q и 2 для KV — Длина контекста: полные 32 768 токенов и токены поколения 8192. Эта модель предназначена для использования в системе Gensyn RL Swarm. Подробную информацию о требованиях к модели при использовании вне роя см. в исходном репозитории Qwen здесь. Чтобы развернуть эту модель в рое и/или принять участие в тестовой сети Gensyn, следуйте инструкциям в репозитории RL Swarm, прочитайте о тестовой сети,…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: Gensyn
Теги: qwen2, chat, rl-swarm, gensyn, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 33 | Загрузок: 108,370
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
