Экспериментальные контрольные точки GGUF с усеченным слоем, полученные из Qwen/Qwen3.5-9B. Оценивается для локального вывода на потребительском оборудовании с VRAM 4 ГБ-6 ГБ (NVIDIA GTX 1060, ноутбук RTX 3050) с использованием llama.cpp. > Примечание о структуре репозитория: > Этот репозиторий содержит экспериментальный пакет обрезки: агрессивное 24-слойное сокращение (оптимизированное для полного размещения внутри VRAM ~4 ГБ) наряду с консервативным 28-слойным эталонным разрезом (который сохраняет большую семантическую глубину для графических процессоров 6 ГБ). > Примечание по значку размера модели: глобальный значок репозитория Hugging Face автоматически отображает параметры 7B, поскольку основные 24-слойные варианты (представляющие 75% сборок репозитория) обрезаются до параметров ~7.1B, тогда как 28-слойный разрез сохраняет параметры ~8.3B. Базовая архитектура Qwen3.5-9B использует чередующуюся блочную структуру, чередующуюся между блоками модели состояния-пространства (Mamba-2) и блоками полного внимания (GQA) (шаблон 3:1 за 4-слойный цикл): 28-слойное срезание (консервативное): вырезает ровно один полный 4-слойный период из средних этапов (слои 16–19, L16–L19). Сохраняет глобальное соотношение между линейным повторением и плотным вниманием к себе при снижении требований к VRAM ниже 4,5 ГБ. 24-слойная нарезка…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: MIThridate
Теги: llama.cpp, gguf, pruned, layer-pruning, low-vram, gtx-1060, 6gb-gpu, 4gb-gpu
Лайков: 3 | Загрузок: 604
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
