Модель DiarizationLM, настроенная на обучающем подмножестве корпуса Фишера. Базовая модель: unsloth/llama-2-13b-bnb-4bit Сценарии тонкой настройки: https://github.com/google/speaker-id/tree/master/DiarizationLM/unsloth Эта модель точно настроена на обучающем подмножестве корпуса Фишера с использованием адаптера LoRA ранга 256. Общее количество обучающих параметров составляет 1 001 390 080. При размере пакета 16 эта модель была обучена на 12 000 шагов, что составляет ~ 4 эпохи обучающих данных. Во время обучения мы используем смешанный вариант, то есть объединяем данные из вариантов hyp2ora и deg2ref. После построителя подсказок в нашем обучающем наборе всего 48 142 пары подсказок-завершения. Точная настройка заняла более 3 дней на экземпляре виртуальной машины Google Cloud с одним графическим процессором NVIDIA A100 и памятью 80 ГБ. Максимальная длина приглашения для этой модели — 6000 символов, включая суффикс « —> ». Максимальная длина последовательности — 4096 токенов. На машине с графическим процессором и CUDA вы можете использовать модель, запустив следующий скрипт:
Модальности:
Генерация текста
Задача: Генерация текста
Автор: google
Теги: gguf, llama, text-generation-inference, endpoints_compatible
Лайков: 13 | Загрузок: 189
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
