42dot LLM-SFT — это большая языковая модель (LLM), разработанная 42dot, которая обучена следовать инструкциям на естественном языке. 42dot LLM-SFT является частью 42dot LLM и получен из 42dot LLM-PLM путем контролируемой точной настройки (SFT). Этот репозиторий содержит версию с параметрами 1.3B. Как и 42-точечная LLM-PLM, модель построена на архитектуре декодера Transformer, аналогичной LLaMA 2, и ее гиперпараметры перечислены ниже. Точная настройка заняла около 112 графических часов (в NVIDIA A100). Для набора обучающих данных мы вручную создавали пары (вопрос или инструкция) и ответы, которые могут быть одно- или многоходовыми. Вдохновленные недавними попытками, такими как Vicuna, мы сравниваем 42dot LLM-SFT с другими чат-ботами собственной разработки/с открытым исходным кодом, использующими GPT-4 для оценки различных аспектов ответов. Набор оценочных данных состоит из 121 подсказки по 10 категориям. Образец набора оценочных данных и шаблон приглашения можно скачать из нашего репозитория GitHub. — Базовые показатели: — ChatGPT с использованием GPT-3.5-turbo и GPT-4 — Bard — KORani-v2-13B 42dot LLM-SFT разделяет ряд хорошо известных ограничений других LLM. Например, он может генерировать ложный и дезинформационный контент, поскольку 42dot LLM-SFT также подлежит…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: 42dot
Теги: llama, causal-lm, 42dot_llm, en, ko, text-generation-inference, endpoints_compatible
Лайков: 36 | Загрузок: 936
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
