voiceless-sparsetral-16x7b-MoE — это обновленная версия voiceless-code-mistral-7b-v1.0 MoE. Точная настройка MoE использует параметрически-эффективную разреженность (PESC), которая представляет собой эффективную архитектуру тонкой настройки, в которой модули LoRA используются в качестве экспертных моделей, аналогично концепции мультилорас. Размер модели примерно 10В. В частности, в качестве базовой модели используется Мистраль-7Б-0.1, при этом для вывода выбраны 16 экспертов и 4 экспертных выхода. Набор данных для точной настройки включает codefuse-ai/Evol-Instruction-66k для улучшения способности модели генерировать код. Конкретные наборы данных следующие: — jondurbin/airoboros-2.2: категории фильтров, относящиеся к кодированию, рассуждениям и планированию. 23 462 образца. — Open-Orca/OpenOrca: фильтрация категории «кроватка» в наборе данных 1M GPT4. 74 440 образцов. — Garage-bAInd/Open-Platypus: 100%, 24 926 семплов. — WizardLM/WizardLMevolinstructV2196k: Часть покрытия кодирования. 30 185 образцов — TokenBender/pythonevalinstruct_51k: «python» на выходе. 40 309 образцов — Spider: 8 659 образцов — codefuse-ai/Evol-Instruction-66k: 100 %, 66 862 образца
Модальности:
Генерация текста
Области применения:
Генерация кода
Задача: Генерация текста
Автор: uukuguy
Теги: sparsetral, llama-2, code, custom_code, en, model-index, endpoints_compatible
Лайков: 4 | Загрузок: 10
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
