OpenMOSS-Team/Llama-2-7B-MHA-d_kv_256

Research Paper «Towards Economical Inference: Enabling DeepSeek’s Multi-Head Latent Attention in Any Transformer-based LLMs» — Step 2(Option): For MHA2MLA models using Partial-RoPE 2-nrom method, Download the qk2-norm file. Take qktensor7B.pth` as an example: — Step 3: Download the MHA2MLA models and run inference. Take fnlp/Llama-2-7B-MHA-dkv256 as an example:

Модальности:
Генерация текста

Задача: Генерация текста
Автор: OpenMOSS-Team
Теги: llama
Лайков: 3  |  Загрузок: 30

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.