Velvet — это итальянское семейство больших языковых моделей, разработанное с нуля и имеющее плотную архитектуру. Эта модель была обучена на инфраструктуре HPC Leonardo, размещенной в CINECA, с использованием общедоступных данных, прошедших тщательную проверку. Процесс обучения семьи Velvet начался с более чем 10 триллионов токенов на 6 языках (итальянском, английском, испанском, португальско-бразильском, немецком, французском). Velvet-2B обучен почти на 3 триллионах токенов на двух языках (итальянском, английском). — Разработчики моделей: команда технологий и инноваций, Almawave. — Ввод: модели вводят только текст. — Выход: модели генерируют только текст. — Дата выпуска: 11 февраля 2025 г. — Лицензия: Apache 2. Семейство моделей Velvet представлено в двух размерах — параметры 2B и 14B — а именно Velvet-2B и Velvet-14B. Velvet-2B — это модель инструкций с параметрами 2B, точно настроенная на базе Velvet-2B с использованием комбинации наборов данных инструкций с открытым исходным кодом с разрешительной лицензией и синтетических наборов данных, собираемых внутри компании, специально предназначенных для решения текстовых задач, «основанных на инструкциях». — Авторегрессионная языковая модель с причинным декодером на основе преобразователя. — 28 слоев-трансформеров. — Промежуточный размер MLP…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Almawave
Теги: mistral, vllm, conversational, en, it, text-generation-inference
Лайков: 38 | Загрузок: 3,065
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
