Эта модель была создана путем взятия Libra19B и последующего использования скрипта frankenllama для выполнения диагонального слияния блоков с Enterredaas 33B. К сожалению, из-за отсутствия GQA он не помещается на одном 24-гигабайтном графическом процессоре в контексте 4096, и поэтому все тестирование проводилось только с 55 слоями, выгруженными на графический процессор через формат q4KM gguf. Возможно, различное квантование может дать лучшие или худшие результаты. Затем я использовал включенный скрипт autocorpus.py для генерации 20 мегабайт необработанных образцов текста с использованием Libra19B с использованием различных подсказок. Скрипт имеет некоторые внешние зависимости, которые вам придется получать самостоятельно. — Предустановки папки/файлов из простого proxy-for-tavern или другого источника файлов JSON аналогичного формата — создание документа .txt prompt.txt и заполнение его подсказками по написанию одного слова — создание файла config.json, как описано ниже — модель по вашему выбору загружена и готова к работе в бэкенде koboldcpp — Введите IP-адрес для вашего бэкенда koboldcpp в строке 32 — Сопоставьте форматирование инструкции вашей модели в строке 38 — Измените указанную длину остановки (размер файла) o
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Envoid
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 3 | Загрузок: 14
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
