OpenHermes-2.5-Code-290k-13B — это современная версия Llama-2 Fine-tune, которая обучается на дополнительном наборе кодовых данных. Эта модель намного лучше модели Teknium. Вы можете проверить результаты оценки ниже. Эта модель обучена на моем существующем наборе данных OpenHermes-2.5-Code-290k. Этот набор данных представляет собой объединение двух наборов данных. Я использовал OpenHermes-2.5 — набор данных высочайшего качества, предоставленный Teknium. Другой набор данных — мой собственный Code-290k-ShareGPT. Набор данных имеет формат Vicuna/ShareGPT. Существует около 1,29 миллиона наборов разговоров. Я очистил набор данных, предоставленный Teknium, и удалил метаданные, такие как «источник», «категория» и т. д. Этот набор данных в основном содержит синтетически сгенерированные инструкции и образцы чата. Эта модель имеет расширенные возможности кодирования, помимо других возможностей, таких как ведение блогов, создание историй, вопросы и ответы и многие другие. Вся модель была обучена на 4 x A100 80 ГБ. Для 2 эпохи обучение заняло 21 день. В целях обучения использовалась кодовая база Fschat и DeepSpeed. Это было обучено Метой на Ламе-2. Это полностью доработанная модель. Ссылки на квантовые модели скоро будут обновлены. Вы можете изменить приведенную выше подсказку в соответствии с вашими требованиями. Я использовал формат ShareGPT/Vicuna v1.1. Я хочу…
Модальности:
Генерация текста
Области применения:
Генерация кода Диалог / чат
Задача: Генерация текста
Автор: ajibawa-2023
Теги: llama, code, finetune, synthetic data, text-generation-inference, conversational, en, model-index
Лайков: 11 | Загрузок: 852
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
