Компания Together Computer, Inc. выпустила LLaMA-2-7B-32K, модель, основанную на LLaMA-2-7B от Meta AI, но настроенную для длины контекста до 32 КБ с использованием «Интерполяции позиции» и «Вращающихся позиционных вложений» (RoPE). Хотя текущая версия llama.cpp уже поддерживает такую большую длину контекста, для нее требуются квантованные файлы в новом формате GGUF — и именно здесь появляется этот репозиторий: он содержит следующие квантования исходных весов из точно настроенной модели Together Q2K Q3KS, Q3KM (также известной как Q3K) и Q3KL Q40, Q41, Q4KS и Q4KM (также известной как Q4K) Q50, Q51, Q5KS и Q5KM (также известные как Q5K) Q6K, Q80 и * F16 (неквантованные) > Примечание: хотя RoPE делает возможными выводы с большими контекстами, вам все равно потребуется очень много оперативной памяти > для этого. И поскольку «32K» не означает, что вам всегда нужно использовать размер контекста 32768 (только модель была точно настроена для этого размера), рекомендуется, чтобы ваш контекст был как можно меньшим. Если вам нужны квантования для модели Together Computer > Llama-2-7B-32K-Instruct >, то ищите > LLaMA-2-7B-32K-Instruct_GGUF Поскольку автор не хочет произвольного Python что-то слонялось на его компьютере, квантование было выполнено с помощью Docker.…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: rozek
Теги: gguf, llama, llama-2, facebook, meta, text-generation-inference, quantized, 32k-context
Лайков: 9 | Загрузок: 606
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
