Zurich 14B GammaCorpus v2-5m — это усовершенствованная версия модели Qwen 2.5 14B Instruct от Alibaba. Zurich разработан, чтобы превзойти другие модели аналогичного размера, а также демонстрирует GammaCorpus v2-5m. — Базовая модель: Qwen/Qwen2.5-14B-Instruct — Тип: причинно-языковые модели — Архитектура: трансформаторы с RoPE, SwiGLU, RMSNorm и смещением внимания QKV — Количество параметров: 14,7B — Количество параметров (без встраивания): 13,1B — Количество слоев: 48 — Количество головок внимания (GQA): 40 для Q и 8 для КВ Zurich-14B-GCv2-5m прошел тонкую настройку с использованием 1 графического процессора A100 в течение ~90 минут и обучение с использованием фреймворка Unsloth. Zurich-14B-GCv2-5m обучался 60 эпох. Мы настоятельно рекомендуем вам использовать последнюю версию пакета Transformers. Вы можете установить его через pip следующим образом: Вот фрагмент кода с шаблоном applychat, который покажет вам, как загрузить токенизатор и модель и как генерировать содержимое; Эта модель и все модели Цюриха обучаются с помощью GammaCorpus. GammaCorpus — это набор данных HuggingFace, наполненный структурированными и отфильтрованными многоходовыми разговорами. GammaCorpus имеет 4 версии разного размера. Это следующие версии и размеры: Вот ссылка на…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: rubenroy
Теги: qwen2, text-generation-inference, unsloth, trl, gammacorpus, zurich, chat, conversational
Лайков: 12 | Загрузок: 11
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
