Zurich 7B GammaCorpus v2-10k — это усовершенствованная версия модели Qwen 2.5 7B Instruct от Alibaba. Zurich разработан, чтобы превзойти другие модели аналогичного размера, а также демонстрирует GammaCorpus v2-10k. — Базовая модель: Qwen/Qwen2.5-7B-Instruct — Тип: причинно-языковые модели — Архитектура: трансформаторы с RoPE, SwiGLU, RMSNorm и смещением внимания QKV — Количество параметров: 7,61B — Количество параметров (без встраивания): 6,53B — Количество слоев: 28 — Количество головок внимания (GQA): 28 для Q и 4 для КВ Zurich-7B-GCv2-10k прошел тонкую настройку с использованием 1 графического процессора T4 в течение ~20 минут и обучение с использованием фреймворка Unsloth. Zurich-7B-GCv2-10k обучался в течение 60 эпох. Мы настоятельно рекомендуем вам использовать последнюю версию пакета Transformers. Вы можете установить его через pip следующим образом: Вот фрагмент кода с шаблоном applychat, который покажет вам, как загрузить токенизатор и модель и как генерировать содержимое; Эта модель и все модели Цюриха обучаются с помощью GammaCorpus. GammaCorpus — это набор данных HuggingFace, наполненный структурированными и отфильтрованными многоходовыми разговорами. GammaCorpus имеет 4 версии разного размера. Это следующие версии и размеры: Вот ссылка на…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: rubenroy
Теги: qwen2, text-generation-inference, unsloth, trl, gammacorpus, zurich, chat, conversational
Лайков: 5 | Загрузок: 36
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
