Квантование GGUF GestaltLabs/Ornstein-3.5-9B-V2 — пост-обучение с подкреплением (V2) Ornstein 3.5 9B. Каждый квант имеет родственную контрольную сумму .sha256, а отдельный видеопроектор (mmproj) поставляет мультимодальную башню для ввода изображения/видео. Шкала качества и скорости с размером кванта; Q4KM — сильное значение по умолчанию для ~8 ГБ видеопамяти/ОЗУ. Каждый квант включает в себя встроенный черновой заголовок модели с мультитокенным прогнозированием (MTP) (GGUF Blockcount` 33), поэтому самоспекулятивное декодирование выполняется из одного файла — отдельная черновая модель не требуется: я аспирант в области визуальной нейробиологии в Университете Торонто, который также тратит слишком много времени на точную настройку, слияние и квантование моделей с открытым весом на арендованных H100 и местном DGX Spark. Все тренировочные вычисления осуществляются за счет собственных средств — затраты на графические процессоры уравновешиваются бюджетом студента. Если мои загрузки были вам полезны, подумайте о том, чтобы купить аспиранту кофе. Это имеет большое значение для продолжения этих экспериментов.
Модальности:
Генерация текста Мультимодальность
Области применения:
Логика и рассуждение Диалог / чат
Задача: Генерация текста
Автор: GestaltLabs
Теги: gguf, llama.cpp, quantized, reasoning, ai-research, qwen3.5, multimodal, mtmd
Лайков: 7 | Загрузок: 832
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
