Этот репозиторий содержит модель, описанную в техническом отчете Salamandra. Саламандра — это многоязычная модель, предварительно обученная с нуля, которая поставляется с тремя различными размерами — параметрами 2B, 7B и 40B — с соответствующими базовыми вариантами и вариантами, настроенными с помощью инструкций. Эта модель карты соответствует базовой версии 2B. Чтобы просмотреть карточки моделей других версий Salamandra, обратитесь к указателю моделей. Все семейство Salamandra выпускается под разрешительной лицензией Apache 2.0. Наряду с открытыми весами все сценарии обучения и файлы конфигурации выложены в открытый доступ в этом репозитории GitHub. Предварительное обучение проводилось с использованием NVIDIA NeMo Framework, которая использует PyTorch Lightning для эффективного обучения модели в сильно распределенных средах. Все модели прошли обучение на MareNostrum 5, суперкомпьютере EuroHPC доэкзафлопсного уровня, размещенном и управляемом Суперкомпьютерным центром Барселоны. Ускоренный раздел состоит из 1120 узлов со следующими характеристиками: — 4 графических процессора Nvidia Hopper с 64 ГБ памяти HBM2 — 2 процессора Intel Sapphire Rapids 8460Y+ с частотой 2,3 ГГц и 32c каждый (64 ядра) — 4 процессора NDR200 (пропускная способность на узел 800 Гбит/с) — 512 ГБ основной памяти (DDR5) — 460 ГБ хранилища NVMe…
Модальности:
Генерация текста
Области применения:
Генерация кода
Задача: Генерация текста
Автор: BSC-LT
Теги: llama, bg, ca, code, cs, cy, da, de
Лайков: 25 | Загрузок: 526
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
