Cerebrum 8x7b — это большая языковая модель (LLM), созданная специально для задач рассуждения. Он основан на модели Mixtral 8x7b. Как и его уменьшенная версия, Cerebrum 7b, он точно настроен на небольшом специальном наборе данных собственных данных цепочки мыслей и дополнительно улучшен с помощью целевого RLHF (tRLHF), нового метода для эффективного выборочного выравнивания LLM. В отличие от множества других недавних подходов к тонкой настройке, наш конвейер обучения включает менее 5000 обучающих подсказок и еще меньше помеченных точек данных для tRLHF. Природный подход к цепочке мыслей означает, что Cerebrum обучен разрабатывать тактический план, прежде чем решать проблемы, требующие размышления. При мозговом штурме, наукоемких и творческих задачах Cerebrum обычно опускает излишне многословные соображения. Cerebrum 8x7b обеспечивает конкурентоспособную производительность по сравнению с Gemini 1.0 Pro и GPT-3.5 Turbo при выполнении ряда задач, требующих рассуждения. Обзор производительности Cerebrum 8x7b по сравнению с Gemini 1.0 Pro, GPT-3.5 и Mixtral 8x7b в выбранных тестах: Детали оценки: 1) ARC-C: все модели оценены как нулевые. Gemini 1.0 Pro и GPT-3.5 (gpt-3.5-turbo-0125), оцененные через API, указаны значения, взятые для Mixtral 8x7b. 2) HumanEval:…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: AetherResearch
Теги: mixtral, conversational, text-generation-inference, endpoints_compatible
Лайков: 77 | Загрузок: 8
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
