Zurich 1.5B GammaCorpus v2-50k — это тонкая настройка модели Alibaba Qwen 2.5 1.5B Instruct. Цюрих разработан, чтобы превзойти другие модели, которые имеют аналогичный размер, а также демонстрируют GammaCorpus v2-50k. — Базовая модель: Qwen/Qwen2.5-1.5B-Instruct — Тип: Причинно-следственные языковые модели — Архитектура: Трансформаторы с RoPE, SwiGLU, RMSNorm и смещением внимания QKV — Количество параметров: 1.54B — Количество параматеров (без встраивания): 1.31B — Количество слоев: 28 — Количество головок внимания (GQA): 12 для Q и 2 для KV Zurich-1.5B-GCv2-50k прошли тонкую настройку с 1 графическим процессором A100 в течение ~5 минут и обучены с использованием фреймворка Unsloth. Цюрих-1.5B-GCv2-50k обучался в течение 60 эпох. Настоятельно рекомендуем использовать последнюю версию комплекта трансформаторов. Вы можете установить его через pip следующим образом: Вот фрагмент кода с applychattemplate, чтобы показать вам, как загрузить токенизатор и модель и как генерировать контент; Эта модель и все модели Zurich обучены с помощью GammaCorpus. GammaCorpus — это набор данных на HuggingFace, который заполнен структурированными и отфильтрованными многооборотными разговорами. GammaCorpus имеет 4 версии с разными размерами в каждой. Это следующие версии и размеры: Вот…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: rubenroy
Теги: qwen2, text-generation-inference, unsloth, trl, gammacorpus, zurich, chat, conversational
Лайков: 4 | Загрузок: 12
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
