Благодарность Фернандо Фернандесу и Эрику Хартфорду за их проект laserRMT. Эта модель представляет собой реализацию MoE среднего размера, основанную на когнитивных вычислениях/дельфин-2,6-мистраль-7b-dpo-лазер + Новая версия показывает увеличение производительности оценки в среднем примерно на 1 балл. + Модели, используемые в конфигурации, не подвергаются лазерной обработке, а конечный продукт. Это обновление последней версии. + [ ] Вызов функций + [ ] v2 с новой базовой моделью для повышения производительности. Это рекомендуемые методы квантования для пользователей, запускающих модель на графическом процессоре. Благодаря пользователю bartowski у нас теперь есть квантования exllamav2 с битами от 3,5 до 8 бит в секунду. Они доступны здесь: Его квантования представляют собой первую модель ~13B с поддержкой GQA. Посетите его репозиторий для получения дополнительной информации! Эти кванты приведут к непредсказуемому поведению. Новые кванты доступны, поскольку я обновил модель. Переключите прокомментированное определение модели на использование в 4-битном формате. Должен работать с 9 ГБ и по-прежнему превосходить одиночную модель 7B примерно на 5-6 баллов —-Benchmark Complete —- 31.01.2024 16:55:37 Затраченное время: 31,1 минуты Формат подсказки: ChatML Модель: macadeliccc/laser-dolphin-mixtral-2x7b-dpo-GGUF Оценка (v2): 72,76 Анализируемый: 171.0 Пакет завершен…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: macadeliccc
Теги: mixtral, model-index, text-generation-inference, endpoints_compatible
Лайков: 59 | Загрузок: 760
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
