Женева 12B GammaCorpus v2-5m представляет собой доработанную версию модели Mistral Nemo Instruct 2407 компании Mistral. Женева разработана, чтобы превзойти другие модели аналогичного размера, а также демонстрирует GammaCorpus v2-5m. — Базовая модель: mistralai/Mistral-Nemo-Instruct-2407 — Параметры: 12B — Слои: 40 — Размер: 5120 — Размер головы: 128 — Скрытый размер: 14336 — Функция активации: SwiGLU — Количество головок: 32 — Количество kv-головок: 8 (GQA) — Размер словаря: 217 ~= 128k — вращающиеся вложения (тета = 1M)** Женева-12B-GCv2-5m подверглась тонкой настройке с использованием 1 графического процессора A100 в течение ~70 минут и обучена с помощью платформы Unsloth. Женева-12B-GCv2-5m обучалась в течение 60 эпох. Если вы хотите использовать преобразователи Hugging Face для генерации текста, вы можете сделать что-то вроде этого: эта модель и все модели Женевы обучаются с помощью GammaCorpus. GammaCorpus — это набор данных HuggingFace, наполненный структурированными и отфильтрованными многоходовыми разговорами. GammaCorpus имеет 4 версии разного размера. Это следующие версии и размеры: Вот ссылка на коллекцию наборов данных GCv1: https://huggingface.co/collections/rubenroy/gammacorpus-v1-67935e4e52a04215f15a7a60 Вот ссылка на коллекцию наборов данных GCv2:…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: rubenroy
Теги: mistral, text-generation-inference, unsloth, trl, gammacorpus, geneva, chat, conversational
Лайков: 13 | Загрузок: 32
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
