Метка: 4bit - Каталог нейросетей

Метка: 4bit

Генерация текста

mayaeary/PPO_Pygway-6b-Mix-4bit-128g

GPTQ quantization of https://huggingface.co/KoboldAI/PPO_Pygway-6b-Mix Using this repository: https://github.com/mayaeary/GPTQ-for-LLaMa/tree/gptj-v2 Модальности:Генерация текста Области применения:Диалог / чат Задача: Генерация текста Автор:...

Генерация текста

mayaeary/PPO_Pygway-V8p4_Dev-6b-4bit-128g

GPTQ quantization of https://huggingface.co/TehVenom/PPOPygway-V8p4Dev-6b Using this repository: https://github.com/mayaeary/GPTQ-for-LLaMa/tree/gptj-v2 Модальности:Генерация текста Области применения:Диалог / чат Задача: Генерация текста Автор:...

Генерация текста

mlx-community/Ornith-1.5-9B-OptiQ-4bit

> Созданный с помощью mlx-optiq, набор инструментов MLX-native для квантования, точной настройки и обслуживания LLM локально на Apple...

Генерация текста

mlx-community/VibeThinker-3B-OptiQ-4bit

4-битный квант MLX смешанной точности, созданный с помощью mlx-optiq — инструментария квантования с учетом чувствительности для Apple Silicon....