Модели GGUF: https://huggingface.co/art-from-the-machine/Mantella-Skyrim-Llama-3-8B-GGUF Эта доработанная модель Llama 3 8B Instruct от Meta предназначена для использования в качестве индивидуальной модели для мода Mantella Skyrim. Для этой тонкой настройки был использован набор данных в стиле Альпаки, содержащий более 8800 взаимодействий игроков с NPC. Подробную информацию об этом наборе данных можно найти в репозитории Mantella LLM Fine-Tuning. — Разработано: art-from-the-machine — Лицензия: apache-2.0 — Точная настройка на основе модели: unsloth/llama-3-8b-Instruct-bnb-4bit — Длина контекста: 8,192 Точная настройка модели Mantella-Skyrim-Llama-3-8B-Q4KM.gguf была протестирована в режиме отладки Mantella v0.11.2, при этом модель работала локально. в кобольдкпп. Тестируемый персонаж — Хульда. Для сравнения список вопросов проверяется как на точно настроенной модели, так и на эквивалентной базовой модели Q4KM Llama 3 Instruct. Для обеих моделей параметр maxresponsesentences Mantella установлен на 4. Mantella-Skyrim-Llama-3-8B-Q4KM.gguf Полные инструкции по запуску Mantella с локальным LLM см. здесь. Эта модель ламы была обучена в 2 раза быстрее с помощью библиотеки TRL Unsloth и Huggingface.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: art-from-the-machine
Теги: llama, text-generation-inference, unsloth, gguf, conversational, en, endpoints_compatible
Лайков: 5 | Загрузок: 156
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
