Благодарим Фернандо Фернандеса и Эрика Хартфорда за их проект laserRMT. Эта модель представляет собой реализацию MoE среднего размера, основанную на когнитивных вычислениях/dolphin-2.6-mistral-7b-dpo-laser. Конфигурация 2x7b обеспечивает лучшую производительность, чем стандартная модель 7b, даже если она загружена в 4 бита. (9 ГБ видеопамяти) Если эта модель 2x7b загружена в 4-битном формате, оценка hellaswag составит 0,8270, что выше, чем базовая модель достигает сама по себе с полной точностью. Эта модель соответствует тому же формату подсказок, что и вышеупомянутая модель. + teknium/OpenHermes-2.5-Mistral-7B + Cognitivecomputations/dolphin-2.6-mistral-7b-dpo-laser Переключите прокомментированное определение модели на использование в 4-битном формате. Должен работать с 9 ГБ и при этом превосходить одиночную модель 7B на 5-6 баллов примерно Фернандо Фернандес Нето и Эрик Хартфорд. «Оптимизация больших языковых моделей с использованием послойно-селективного понижения ранга и теории случайных матриц». 2024.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: LoneStriker
Теги: mixtral, text-generation-inference, endpoints_compatible
Лайков: 4 | Загрузок: 9
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
