Это 2-битное квантование @migtissera Tess-M-34b-v1.4 с использованием quip# (https://cornell-relaxml.github.io/quip-sharp/) с длиной гессианского контекста 8 КБ. «Тесс, сокращение от Tesoro (Сокровище по-итальянски), представляет собой серию моделей большого языка общего назначения. Tess-M-v1.4 обучалась на базе Yi-34B-200K». Недоумение в наборе для разработчиков, как сообщает quip#, было немного ниже 7 по сравнению с чуть ниже 6 в оригинале. Вывод с помощью модели немного медленный, но с большой длиной контекста он должен обеспечить одну из наиболее эффективных моделей с несколькими кадрами для потребительских графических процессоров и графических процессоров для обработки данных, особенно если экземпляры длиннее, а ответы относительно короткие. Я могу использовать эту модель в широко известном текстовом генераторе-webui. Для установки я предлагаю выполнить следующие шаги: 1. Поместить текущую папку библиотеки quip# в папку repositories папки textgen-webui. 2. установите требования quip# 3. скомпилируйте и установите библиотеку quiptools cuda lib: 4. переустановите требования textgen-webui 5. загрузите модель с помощью quip#. Интеграция textgen-webui. Вы также можете использовать библиотеку этого репозитория для сценариев. В папке quip# после установки библиотеки используйте следующую команду: License The…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: KnutJaegersberg
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 6 | Загрузок: 7
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
