We provide a convenient inference script for easy interaction: Full Precision (BF16) — Memory Required: ~24GB VRAM — Best quality and performance 8-bit Quantization — Memory Required: ~16GB VRAM — Minimal quality loss 4-bit Quantization — Memory Required: ~12GB VRAM — Good for consumer GPUs You can customize the system prompt to adjust the model’s behavior: — No vision capabilities: This model processes text only and cannot interpret images, diagrams, or visual content — Know
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Kirim-ai
Теги: kirim, causal-lm, bilingual, chinese, chat, conversational, llm, rope
Лайков: 3 | Загрузок: 53
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
