Модель IberianLLM-7B выпускается под разрешительной лицензией Apache 2.0), допускающей как исследовательское, так и коммерческое использование. Наряду с открытыми весами все сценарии обучения и файлы конфигурации выложены в открытый доступ в этом репозитории GitHub. > [!ВНИМАНИЕ] > ОТКАЗ ОТ ОТВЕТСТВЕННОСТИ: Эта модель является первой проверкой концепции, предназначенной для демонстрации возможностей следования инструкциям недавно выпущенных базовых моделей. > Он оптимизирован для участия в разговоре, но НЕ согласован с RLHF для фильтрации или предотвращения деликатных тем. > В результате может создаваться вредный или неприемлемый контент. > Команда активно работает над повышением своей эффективности посредством дальнейшего обучения и согласования с методами RL. Предварительное обучение проводилось с использованием NVIDIA NeMo Framework, которая использует PyTorch Lightning для эффективного обучения модели в сильно распределенных средах. Все модели прошли обучение на MareNostrum 5, суперкомпьютере EuroHPC доэкзафлопсного уровня, размещенном и управляемом Суперкомпьютерным центром Барселоны. Ускоренный раздел состоит из 1120 узлов со следующими характеристиками: — 4 графических процессора Nvidia Hopper с 64 памятью HBM2 — 2 процессора Intel Sapphire Rapids 8460Y+ с частотой 2,3 ГГц и 32c каждый…
Модальности:
Генерация текста
Области применения:
Генерация кода Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: langtech-languagemodeling
Теги: llama, conversational, ca, code, en, es, eu, gl
Лайков: 6 | Загрузок: 94
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
