Компания Together Computer, Inc. выпустила Llama-2-7B-32K-Instruct, модель, основанную на LLaMA-2-7B от Meta AI, но настроенную для длины контекста до 32 КБ с использованием «Интерполяции позиции» и «Вращающихся позиционных вложений» (RoPE). Хотя текущая версия llama.cpp уже поддерживает такие большие длины контекстов, для нее требуются квантованные файлы в новом формате GGUF — и именно здесь появляется этот репозиторий: он содержит следующие квантования исходных весов из точно настроенной модели Together Q2K Q3KS, Q3KM (также известной как Q3K) и Q3KL Q40, Q41, Q4KS и Q4KM (также известной как Q4K) Q50, Q51, Q5KS и Q5KM (также известные как Q5K) Q6K, Q80 и * F16 (неквантованные) > Примечание: хотя RoPE делает возможными выводы с большими контекстами, вам все равно потребуется очень много оперативной памяти > для этого. И поскольку «32K» не означает, что вам всегда нужно использовать размер контекста 32768 (только модель была точно настроена для этого размера), рекомендуется, чтобы ваш контекст был как можно меньшим. Если вам нужны квантования для модели Together Computer > Llama-2-7B-32K >, то ищите > LLaMA-2-7B-32K_GGUF, поскольку автор не хочет, чтобы произвольный материал Python слонялся по нему. на его компьютере квантование выполнялось с помощью Docker. Предполагая…
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: rozek
Теги: gguf, llama, llama-2, facebook, meta, text-generation-inference, quantized, 32k-context
Лайков: 4 | Загрузок: 316
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
