— ~~Используйте формат приглашения iMatrix для Llama 3 в четвертом квартале и ниже или попробуйте исправленный Q4KM~~ — ~~Используйте ChatML для Q6 и ниже~~ — Используйте Llama 3, см. проблемы — ~~Длина контекста не определена правильно в quant, не уверен, что это проблема llama.cpp~~ Используйте настройки RoPE — Вывод заканчивается на или других токенах EOS, может быть проблема с их обучающими данными. Эта модель была преобразована в Формат GGUF из Gradientai/Llama-3-8B-Instruct-Gradient-4194k с использованием llama.cpp через пространство GGUF-my-repo ggml.ai. Более подробную информацию о модели можно найти на оригинальной карточке модели.
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: leafspark
Теги: gguf, meta, llama-3, en, endpoints_compatible, conversational
Лайков: 4 | Загрузок: 1,427
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
