Этот репозиторий содержит исходный код полной точности в формате «безопасных тензоров» для создания GGUF, GPTQ, EXL2, AWQ, HQQ и других форматов. Исходный код также можно использовать напрямую. Вы можете заменить модель BASE на модели Llama 3.1, чтобы создать версию этой модели размером 128 КБ. Вы также можете заменить БАЗОВУЮ модель на базовые модели Nivida 1,2 или 4 миллиона «Llama 3.1». Аналогичным образом вы можете заменить модель BASE на другие модели Llama 3, чтобы создать разные варианты этой модели. При этом слиянии «базовая» модель потребляется (веса заменяются) ПОЛНОСТЬЮ, но характеристики базовой модели сохраняются. Если вы измените «веса» (всего 1 (100%) из 3 моделей вместе) на менее 1 -> оставшиеся будут «БАЗОВЫМИ» весами, и не все «веса» базовой модели будут израсходованы / заменены. !! => Каждый из «весов» применяется к 4 слоям модели (32/8) каждый. Вы можете расширить это число до 32 для точной настройки каждого слоя каждой модели. Если вы хотите увидеть, что происходит, когда «база» заменяется («SuperNova») и/или формула изменяется (включая использование «плотности», что вызывает случайное сокращение), посмотрите модели в «Проекте Dark Planet Wordstorm» — коллекции из 12 модифицированных версий…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: DavidAU
Теги: llama, mergekit, merge, llama-3, creative, creative writing, fiction writing, plot generation
Лайков: 9 | Загрузок: 19
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
