Это BF16 и обрезанная версия migtissera/Tess-70B-v1.6. migtissera/Tess-70B-v1.6 имеет 69 миллиардов параметров, а Covasna-0.1 — 41,6 миллиарда (размер параметра ~60,3%). Используйте laserQlora.ipynb из Cognitivecomputations/laserRMT, чтобы определить, какие слои следует удалить. Адаптируйте сценарий для migtissera/Tess-70B-v1.6, заменив modelname = «mistralai/Mistral-7B-v0.1» на modelname = «migtissera/Tess-70B-v1.6» и Layernumbers = list(range(31, -1, -1)) на Layernumbers = list(range(79, -1, -1)), где 79 является индексом последнего повторяющегося слоя. Тесс-70Б-v1.6 имеет. Затем найдите индексы слоев, где selfattn.vproj snr — Infinity, и удалите эти слои с помощью mergekit.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Mihaiii
Теги: llama, conversational, text-generation-inference
Лайков: 5 | Загрузок: 6
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
