Zurich 1.5B GammaCorpus v2-1m — это усовершенствованная версия модели Qwen 2.5 1.5B Instruct от Alibaba. Zurich разработан, чтобы превзойти другие модели аналогичного размера, а также демонстрирует GammaCorpus v2-1m. — Базовая модель: Qwen/Qwen2.5-1.5B-Instruct — Тип: причинно-языковые модели — Архитектура: трансформаторы с RoPE, SwiGLU, RMSNorm и смещением внимания QKV — Количество параметров: 1,54B — Количество параметров (без внедрения): 1,31B — Количество слоев: 28 — Количество головок внимания (GQA): 12 для Q и 2 для КВ Цюрих-1.5B-GCv2-1m прошел тонкую настройку с использованием 1 графического процессора A100 в течение ~25 минут и прошел обучение с помощью фреймворка Unsloth. Zurich-1.5B-GCv2-1m обучался в течение 60 эпох. Мы настоятельно рекомендуем вам использовать последнюю версию пакета Transformers. Вы можете установить его через pip следующим образом: Вот фрагмент кода с шаблоном applychat, который покажет вам, как загрузить токенизатор и модель и как генерировать содержимое; Эта модель и все модели Цюриха обучаются с помощью GammaCorpus. GammaCorpus — это набор данных HuggingFace, наполненный структурированными и отфильтрованными многоходовыми разговорами. GammaCorpus имеет 4 версии разного размера. Это следующие версии и размеры: Вот ссылка…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: rubenroy
Теги: qwen2, text-generation-inference, unsloth, trl, gammacorpus, zurich, chat, conversational
Лайков: 6 | Загрузок: 9
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
