Это предварительная реализация HuggingFace недавно выпущенной модели MoE от MistralAi. Обязательно загрузите файл с параметромtrustremotecode=True. Спасибо @dzhulgkov за раннюю реализацию (https://github.com/dzhulgkov/llama-mistral), которая помогла мне найти рабочую настройку. Также большое спасибо нашим друзьям из LAION и HessianAI за компьютеры, использованные в этих проектах! Используйте Convertmistralmoeweightstohf.py —inputdir ./inputdir —modelsize 7B —outputdir ./output`, чтобы преобразовать исходные консолидированные веса в эту настройку HF.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: DiscoResearch
Теги: mistral, custom_code, en, fr, it, es, de, text-generation-inference
Лайков: 264 | Загрузок: 44
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
