Это квант exl2, 2,21 бита в минуту модели TheProfessor 155b. Исходную модель можно найти здесь. Приблизительное использование видеопамяти 48 ГБ. Смог подогнать на дуал-4090 с контекстом 4к. 17,96 токенов в секунду. TheProfessor — это объединение предварительно обученных языковых моделей, созданных с помощью mergekit. TheProfessor был создан Эриком Хартфордом при высоко оцененной помощи Вейакси и Чарльза Годдарда, а также команды Generative AI компании AbacusAI. TheProfessor можно использовать для многих целей, но основная задача заключалась в том, чтобы дать ему широкие разговорные, рассуждения, научные, медицинские и математические навыки, полезные для интерактивного мозгового штурма и исследований. Это может помочь в разработке концепций, начиная с их замысла и заканчивая реализацией, включая код и написание/рецензирование/пересмотр статей с цитатами. Благодарность и признательность авторам агрегатных моделей. — CognitiveComputations/dolphin-2.2-70b — WizardLM/WizardMath-70B-V1.0 — migtissera/SynthIA-70B-v1.2b — epfl-llm/meditron-70b В объединение были включены следующие модели: Cognitivecomputations/dolphin-2.2-70b WizardLM/WizardMath-70B-V1.0 migtissera/SynthIA-70B-v1.2b epfl-llm/meditron-70b Следующая конфигурация YAML использовалась для создания…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: ek826
Теги: llama, mergekit, merge, conversational, text-generation-inference, endpoints_compatible
Лайков: 8 | Загрузок: 6
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
