GGUF квантовала версии inclusionAI/Ling-3.0-flash, нативной гибридной модели рассуждений следующего поколения с общими параметрами 124B и активными параметрами 5.1B на маркер, поддерживающими английский и китайский языки, с контекстным окном 256K (расширяемым до 1M), вызовом инструментов и встроенным режимом мышления/рассуждения. Ling-3.0-flash — это гибридно-линейная модель MoE, построенная на нативной гибридной линейной архитектуре внимания с самого начала предварительного обучения, с чередующейся укладкой 5:1 KIMI Delta Attention (КДА) и Multi-Head Latent Attention (MLA), модернизированная с KDA тонкозернистым диагональным стробированием и разреженным MoE 1/64. С ОБЩИМИ параметрами 124B и активированными параметрами 5.1B на токен, он достигает синергетического скачка в эффективности длинного контекста и вычислительных затратах. Модель использует формат разговора в стиле Bailing V3 с разделителями на основе ролей (СИСТЕМА, ЧЕЛОВЕК, ПОМОЩНИК, НАБЛЮДЕНИЕ), разделенными . Он поддерживает специальные маркеры для мышления/рассуждения (контролируется с помощью детального обдумывания/ детального обдумывания в системной подсказке, с выводом рассуждений между маркерами мышления/ответа) и вызова инструмента ** (функциональные блоки с тегами параметров). > Рекомендуется: Q4KM или Q5KM предлагают лучшее качество по размеру…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: WhiskyAKM
Теги: llama-cpp, gguf, ling-3.0, hybrid-linear, moe, quantized, conversational, endpoints_compatible
Лайков: 4 | Загрузок: 1,087
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
