Исходная модель: https://huggingface.co/meta-llama/Meta-Llama-3.1-8B-Instruct https://aitorrent.zerroug.de/bartowski-meta-llama-3-1-8b-instruct-gguf-torrent/ — 30 июля 2024 г.: обновлен шаблон чата для исправления небольшой ошибки с неопределенным использованием инструментов; если вы не используете встроенный шаблон чата, этого не следует делать. изменить что-нибудь. Спасибо kalomaze и Dampf за помощь в создании набора калибровочных данных imatrix. Спасибо ZeroWw за вдохновение поэкспериментировать с встраиванием/выводом. Если модель больше 50 ГБ, она будет разделена на несколько файлов. Чтобы загрузить их все в локальную папку, запустите: Вы можете указать новый локальный каталог (Meta-Llama-3.1-8B-Instruct-Q8_0) или загрузить их все на месте (./). Они НЕ предназначены для разгрузки Metal (Apple) или GPU (nvidia/AMD/intel), только чипов ARM (и некоторых процессоров AVX2/AVX512). Если вы используете чип ARM, кванты Q40XX будут иметь существенное ускорение. Ознакомьтесь со сравнением скорости Q4044 в исходном запросе на включение. Чтобы проверить, какой из них лучше всего подойдет для вашего чипа ARM, вы можете проверить функции AArch64 SoC (спасибо EloyOn!). Если вы используете процессор, поддерживающий AVX2 или AVX512 (обычно это серверные процессоры и новейшие процессоры AMD Zen5), но не…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: bartowski
Теги: gguf, facebook, meta, llama, llama-3, en, de, fr
Лайков: 328 | Загрузок: 299,978
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
