Это преобразование основано на объединенной поддержке Llama 3 в llama.cpp (выпуск b2710) *: LM Studio 0.2.20, кажется, работает на Mac, но не на Windows, протестируйте и убедитесь сами, подходит ли эта версия для использования. Исходная модель: https://huggingface.co/meta-llama/Meta-Llama-3-8B-Instruct Все кванты сделаны с использованием опции imatrix с набором данных, предоставленным Каломазе здесь Внимание: вам необходимо обновить свой инструмент вывода до версии llama.cpp не ниже 2710, это зависит от инструмента. Отличная статья с диаграммами, показывающими различные характеристики, предоставлена здесь Artefact2. Первое, что нужно выяснить, это насколько большую модель вы можете запустить. Для этого вам нужно выяснить, сколько у вас оперативной и/или видеопамяти. Если вы хотите, чтобы ваша модель работала как можно БЫСТРО, вам нужно поместить все это в видеопамять вашего графического процессора. Стремитесь к квантованию с размером файла на 1–2 ГБ меньше, чем общий объем видеопамяти вашего графического процессора. Если вам нужно абсолютно максимальное качество, сложите вместе оперативную память вашей системы и видеопамять вашего графического процессора, а затем аналогичным образом возьмите квант с размером файла на 1–2 ГБ меньше, чем эта общая сумма. Далее вам нужно будет решить, хотите ли вы использовать «I-квант» или «K-квант». Если вы не хотите слишком много думать, возьмите один из…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: bartowski
Теги: gguf, facebook, meta, llama, llama-3, en, endpoints_compatible, conversational
Лайков: 45 | Загрузок: 293
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
