Athene-V2-Chat-72B-4bit
We introduce Athene-V2-Chat-72B, an open-weights LLM on-par with GPT-4o across benchmarks. It is trained through RLHF with Qwen-2.5-72B-Instruct...
We introduce Athene-V2-Chat-72B, an open-weights LLM on-par with GPT-4o across benchmarks. It is trained through RLHF with Qwen-2.5-72B-Instruct...
— AWQ 4bit version of Nexusflow Athene-Llama3-70B — Quantization code — ! Updated based on the original model...
> [!IMPORTANT] > This repo is quantized from the updated version of Athene-70B as of the 24th of...
— AWQ 4bit version of Nexusflow/Athene-V2-Chat — Quantization code — This model fits only to 1 gpu. Используйте...
Этот репозиторий предоставляет 4-битную квантованную версию AWQ модели Athene-V2-Chat, первоначально разработанную Nexusflow. Веса этой модели дополняются нулями перед...
> [!NOTE] > EXL2 4.65bpw-h6 квантованная версия Nexusflow/Athene-V2-Chat. Поддерживает контекст 32 КБ с кешем Q4 в системах с...
👾 Программа хайлайтов моделей LM Studio Community. Выделение новых и заслуживающих внимания моделей сообществом. Присоединяйтесь к обсуждению в...
Спасибо kalomaze и Dampf за помощь в создании набора калибровочных данных imatrix. Спасибо ZeroWw за вдохновение поэкспериментировать с...
👾 Программа хайлайтов моделей LM Studio Community. Выделение новых и заслуживающих внимания моделей сообществом. Присоединяйтесь к обсуждению в...
Исходная модель: https://huggingface.co/Nexusflow/Athene-V2-Agent Некоторые из этих квантов (Q3KXL, Q4KL и т. д.) представляют собой стандартный метод квантования, в...