!image/png (Изображение предоставлено NeuralNovel) ФАЙЛЫ GGUF ЗДЕСЬ!!!! Ко мне обратилась с идеей сделать слияние на основе рассказывания историй, и, учитывая склонность FrankenMoE к галлюцинациям, я подумал, что это замечательная идея. Однако я хотел, чтобы это было больше, чем просто «модель мема». Я хотел создать что-то, что действительно будет работать… поэтому мы решили использовать SanjiWatsuki/Loyal-Macaroni-Maid-7B в качестве основы, Cognitivecomputations/dolphin-2.6-mistral-7b в качестве двух из четырех экспертов, чтобы стабилизировать его, SanjiWatsuki/Silicon-Maid-7B, чтобы улучшить его логические рассуждения, и NeuralNovel/Panda-7B-v0.1, чтобы улучшить его креативность и детализацию. механика повествования. Мы считаем, что, хотя с точки зрения логики это не лучше, чем инструктирование по микстральной базе, но определенно более креативно. Особая благодарность NeuralNovel за сотрудничество со мной в этом проекте !image/png !image/png Во многих тестах он работает лучше, чем базовый mixtral 8x. Он вдвое меньше и сопоставим с большинством МЧС. Огромное спасибо HuggingFace за оценку! Масштаб модели является одним из наиболее важных факторов повышения качества модели. Учитывая фиксированный вычислительный бюджет, обучение более крупной модели…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Kquant03
Теги: mixtral, merge, moe, en, text-generation-inference, endpoints_compatible
Лайков: 6 | Загрузок: 93
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
