SciPhi-Mistral-7B-32k — это модель большого языка (LLM), доработанная на основе Mistral-7B-v0.1. Эта модель прошла процесс тонкой настройки в течение четырех эпох с использованием более 1 миллиарда токенов, которые включают в себя данные регулярной настройки инструкций и синтетические учебники. Целью этой работы было повышение научных рассуждений и образовательных способностей модели. Для достижения наилучших результатов следуйте рекомендациям по подсказкам Альпаки. SciPhi-AI доступен через бесплатный размещенный API, хотя предоставляемая модель может варьироваться. В настоящее время в наличии SciPhi-Self-RAG-Mistral-7B-32k. Более подробную информацию можно найти в документации здесь. Особенности архитектуры: — Модель на основе трансформатора — Внимание к групповым запросам — Внимание к скользящему окну — Резервный байтовый токенизатор BPE 1. Лиан В., Гудсон Б., Ван Г., Пентланд Э., Кук А., Вонг К. и Текниум. (2023). MistralOrca: модель Mistral-7B, настроенная на основе отфильтрованного набора данных OpenOrcaV1 GPT-4. Репозиторий HuggingFace. Ссылка 2. Мукерджи С., Митра А., Джавахар Г., Агарвал С., Паланги Х. и Авадалла А. (2023). Орка: прогрессивное обучение на основе сложных объяснительных следов GPT-4. Препринт arXiv arXiv:2306.02707. 3. Лонгпре, С., Хоу, Л., Ву, Т., Вебсон, А., Чунг, Х.В., Тай, Ю., Чжоу,…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: SciPhi
Теги: mistral, text-generation-inference, endpoints_compatible
Лайков: 72 | Загрузок: 774
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
