Velvet — это итальянское семейство больших языковых моделей, разработанное с нуля и имеющее плотную архитектуру. Эта модель была обучена на инфраструктуре HPC Leonardo, размещенной в CINECA, с использованием общедоступных данных, прошедших тщательную проверку. Процесс обучения начался с более чем 10 триллионов токенов и завершился выпуском более 4 триллионов токенов на шести языках (итальянском, английском, испанском, португальско-бразильском, немецком, французском) для модели 14B. Были специально предприняты усилия для поддержания баланса между языками, с особым упором на итальянский, на который приходится примерно 23% данных. Помимо лингвистических данных, Velvet включает более 400 миллиардов токенов из более чем 100 языков программирования, чтобы облегчить более структурированные выводы на вышеупомянутых языках. — Разработчики моделей: команда технологий и инноваций, Almawave. — Ввод: модели вводят только текст. — Выход: модели генерируют только текст. — Дата выпуска: 31 января 2025 г. — Лицензия: Apache 2. Семейство моделей Velvet представлено в двух размерах — параметры 2B и 14B — а именно Velvet-2B и Velvet-14B. Velvet-14B — это модель длинноконтекстных инструкций с 14B параметрами, точно настроенная на базе Velvet-14B с использованием…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Almawave
Теги: mistral, vllm, conversational, en, fr, de, es, it
Лайков: 142 | Загрузок: 3,542
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
