Основан на Meta-Llama-3-8b-Instruct и регулируется лицензионным соглашением Meta Llama 3: https://huggingface.co/meta-llama/Meta-Llama-3-8B-Instruct. Это, безусловно, самая полная модель инструкций Llama 3 8b без цензуры. Он буквально никогда ни от чего не откажется. Напоминаем: с большой силой приходит и большая ответственность. С точки зрения рассуждения и интеллекта эта модель, вероятно, хуже модели OG из-за децензуры. Однако, если у вас есть проблемы с отказами, это будет лучше только потому, что не откажется. Обучение: — Длина последовательности 4096, тогда как базовая модель имеет длину последовательности 8192. Судя по тестированию, он по-прежнему отлично выполняет тот же контекст 8192. — Продолжительность обучения составляет около 3 дней на RTX 4090 с использованием 4-битной загрузки и 64-ранга Qlora 128-альфа, что приводит к ~ 2% обучаемых весов. — Добавлена тонкая настройка DPO помимо более тщательного набора данных для этой модели v0.2. FP16: https://huggingface.co/OwenArli/ArliAI-Llama-3-8B-Cumulus-v0.2 GGUF: https://huggingface.co/OwenArli/ArliAI-Llama-3-8B-Cumulus-v0.2-GGUF
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: OwenArli
Теги: llama, conversational, text-generation-inference, endpoints_compatible
Лайков: 6 | Загрузок: 23
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
