— Точная настройка на основе модели: Na0s/Llama-3.1-8B-Pruned-4-LayersLoRA-PEFT-2.0 на teknium/openhermes.** — Мы удалили 4 слоя мета-ламы/Meta-Llama-3.1-8B, которые меньше всего влияли на производительность модели согласно статье «Необоснованная неэффективность более глубоких слоев». — Таким образом, у нас параметры на 1,09B меньше, чем у базовой модели, что означает меньше требуемой памяти, более быстрое обучение и меньшую задержку в режиме вывода. — Затем мы восстановили потерю производительности, вызванную процессом сокращения, путем тонкой настройки (с 0,2642 MMLU-Pro 0-shot до 0,3120). Этот шаг называется восстановлением сокращенной модели. — Больше лечения с помощью SFT/DPO/TPO, чтобы посмотреть, сможем ли мы приблизиться к производительности мета-ламы/Мета-ламы-3.1-8B (у которой 0-выстрел MMLU-Pro равен 0,3659 против 0,3120 для нашей модели). (В процессе) — Сравните тот же самый процесс применительно к мета-ламе/LLama-3.1-70B. model = FastLanguageModel.getpeftmodel( model, r = 4, targetmodules = [«qproj», «kproj», «vproj», «oproj», «gateproj», «upproj», «downproj»,], loraalpha = 4, loradropout = 0,05, смещение = «none», usegradientcheckpointing = «unsloth», случайное состояние = 3407, userslora = Ложь, loftq_config = Нет, ) из импорта trl…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Na0s
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 4 | Загрузок: 20
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
