Этот репозиторий предоставляет 4-битную квантованную версию AWQ модели Athene-V2-Chat, первоначально разработанную Nexusflow. Веса этой модели дополняются нулями перед квантованием, чтобы обеспечить совместимость с тензорным параллелизмом нескольких графических процессоров путем разрешения ограничений делимости. Заполнение минимально влияет на вычисления, обеспечивая при этом эффективное масштабирование на нескольких графических процессорах.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: kosbu
Теги: qwen2, awq, Athene, Chat, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 6 | Загрузок: 5
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
