Этот репозиторий содержит модель, описанную в техническом отчете Salamandra. Саламандра — это многоязычная модель, предварительно обученная с нуля, которая поставляется с тремя различными размерами — параметрами 2B, 7B и 40B — с соответствующими базовыми вариантами и вариантами, настроенными с помощью инструкций. Эта модель карты соответствует версии с инструкциями 2B. Чтобы просмотреть карты моделей других версий Salamandra, обратитесь к указателю моделей. Все семейство Salamandra выпускается под разрешительной лицензией Apache 2.0. Наряду с открытыми весами все сценарии обучения и файлы конфигурации выложены в открытый доступ в этом репозитории GitHub. > [!ВНИМАНИЕ] > ОТКАЗ ОТ ОТВЕТСТВЕННОСТИ: Эта модель является первой проверкой концепции, предназначенной для демонстрации возможностей следования инструкциям недавно выпущенных базовых моделей. > Он оптимизирован для участия в разговоре, но НЕ согласован с RLHF для фильтрации или предотвращения деликатных тем. > В результате может создаваться вредный или неприемлемый контент. > Команда активно работает над повышением своей эффективности посредством дальнейшего обучения и согласования с методами RL. Предварительное обучение проводилось с использованием NeMo Framework от NVIDIA, который использует PyTorch Lightning для…
Модальности:
Генерация текста
Области применения:
Генерация кода Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: BSC-LT
Теги: llama, conversational, bg, ca, code, cs, cy, da
Лайков: 27 | Загрузок: 3,351
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
