Эта модель представляет собой доработку Open-Assistant CodeLlama 13B LLM от Meta. — Точная настройка из: codellama/CodeLlama-7b-hf через epfLLM/Megatron-LLM — Тип модели: языковая модель преобразователя, предназначенная только для декодера — Язык: английский — Журналы обучения весов и смещений: 6123 шага, BS 64 run56oallamacode — Демонстрация: продолжение для 250 случайных подсказок (без системного сообщения) — Лицензия: LLAMA 2 COMMUNITY ЛИЦЕНЗИОННОЕ СОГЛАШЕНИЕ — Контактное лицо: Open-Assistant Discord По требованию общественности (см. опрос) мы изменили шаблон подсказки для этой модели с пользовательских токенов подсказчика/помощника на стандартный формат подсказок OpenAI в чате. Мы надеемся, что это приведет к большей совместимости с приложениями вывода чата и интерфейсными приложениями. Входные данные модели могут содержать несколько вариантов разговора между пользователем и помощником, например. Модель была частично обучена с помощью системных сообщений Orca. Для вывода мы рекомендуем использовать официальное системное сообщение Llama2: — Спасибо Meta AI за обучение и выпуск модели CodeLLlama. — Поддержка распределенного обучения оказывалась Лабораторией машинного обучения и оптимизации EPFL и Лабораторией обработки естественного языка. — Для тонкой настройки использовался открытый тренажер epfLLM/Megatron-LLM. — ромбодаг…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: OpenAssistant
Теги: llama, custom_code, en, text-generation-inference, endpoints_compatible
Лайков: 70 | Загрузок: 1,529
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
