Благодарим Фернандо Фернандеса и Эрика Хартфорда за их проект laserRMT. Эта модель представляет собой реализацию MoE среднего размера, основанную на когнитивных вычислениях/dolphin-2.6-mistral-7b-dpo-laser. В этой реализации в качестве опорной точки используется медиана массива. Сначала он проверяет, содержит ли массив один или несколько элементов; в этом случае он уже отсортирован и может быть возвращен как есть. В противном случае он выбирает ось в качестве среднего элемента массива. Затем он делит массив на три подмассива: элементы меньше опорной точки, элементы, равные опорной точке, и элементы больше опорной точки. Он рекурсивно сортирует левый и правый подмассивы и объединяет результаты со средним подмассивом, чтобы получить окончательный отсортированный массив. — + 2024-01-24 15:03:08 + Затраченное время: 37,4 минуты + Формат подсказки: Mistral + Модель: macadeliccc/laser-dolphin-mixtral-4x7b-dpo + Оценка (v2): 71,04 + Анализируемый: 169,0 Фернандо Фернандес Нето и Эрик Хартфорд. «Оптимизация больших языковых моделей с использованием послойно-селективного понижения ранга и теории случайных матриц». 2024.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: macadeliccc
Теги: mixtral, model-index, text-generation-inference, endpoints_compatible
Лайков: 10 | Загрузок: 204
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
