Геркулес-1.0-Мистраль-7Б представляет собой доработку модели Мистраль 7Б. Разработан как усовершенствованная версия OpenHermes от Teknium за счет расширенных источников данных. Данная модель превосходит OpenHermes-7B в среднем на 8 баллов, а OpenHermes-13B в среднем на 4 балла. Я продолжу работу над этой моделью, чтобы, надеюсь, превзойти OpenHermes 2.5. Помимо более высокой производительности по сравнению с OpenHermes, эта модель обеспечивает прозрачность данных и обучения для воспроизводимости. Вы можете узнать больше о наборе данных Hercules здесь: !Locutusque/hercules-v1.0 Во время обучения набор данных разбивается на тестовый набор из 100 примеров. В конце обучения (120 000 примеров) эта модель достигла тестовых потерь 0,57. — Эта модель была обучена на 8 Kaggle TPU с использованием Torch xla SPMD для обеспечения высокой эффективности MXU. С моей стороны не было никаких затрат (это означает, что вы тоже можете это воспроизвести!) — Скорость обучения 2e-06 с оптимизатором Адама. Планировщик LR не использовался. Низкая скорость обучения использовалась для предотвращения взрыва градиентов. — Смешанная точность не использовалась, тип dtype по умолчанию — bfloat16. — Обучался как на полных подмножествах OpenOrca, так и на 120 000 примерах Hercules. (Если вы хотите воспроизвести эту модель, вы можете ограничить избыточность…
Модальности:
Генерация текста
Области применения:
Генерация кода Диалог / чат
Задача: Генерация текста
Автор: Locutusque
Теги: mistral, code, not-for-all-audiences, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 8 | Загрузок: 6
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
