Данная модель сделана с намерением использовать ее для доводки. Его не следует использовать для вывода как есть. Это обрезанная версия Meta-Llama-3-70B-Instruct. Meta-Llama-3-70B-Instruct имеет 70,6 миллиардов параметров, а Drobeta-Turnu-Severin — 44,9 миллиардов (размер параметров ~63%). Используйте laserQlora.ipynb из Cognitivecomputations/laserRMT, чтобы определить, какие слои следует удалить. Адаптируйте сценарий для Meta-Llama-3-70B-Instruct, заменив modelname = «mistralai/Mistral-7B-v0.1» на modelname = «Meta-Llama-3-70B-Instruct» и Layernumbers = list(range(31, -1, -1)) на Layernumbers = list(range(79, -1, -1)), где 79 является индексом последнего рекуррентного слоя. Мета-Лама-3-70Б-Инструкт имеет. Затем найдите индексы слоев, где selfattn.vproj snr — Infinity, и удалите эти слои с помощью mergekit. Вот индексы слоев, которые были удалены: 11,17,37,40,41,42,43,44,45,46,48,49,50,51,53,54,55,57,58,59,60,61,62,63,64,65,66,67,68,69 .
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Mihaiii
Теги: llama, conversational, text-generation-inference, endpoints_compatible
Лайков: 14 | Загрузок: 19
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
