Информация Alpaca 30B 4-битная, работает с версиями GPTQ, используемыми в Webui для генерации текста Oobabooga и KoboldAI. Квантуется с использованием оптимизаций —true-sequential и —act-order. Это было сделано с использованием Alpaca Lora от Chansung 30B: https://huggingface.co/chansung/alpaca-lora-30b Обновление от 04.06.2023. Это более позднее объединение Alpaca Lora от Chansung, которое было обновлено с использованием чистого набора данных альпаки от 06.04.2023 с уточненными параметрами обучения. Параметры обучения. numepochs=10cutofflen=512groupbylengthloratargetmodules='[qproj,kproj,vproj,oproj]’lorar=16microbatch_size=8
Модальности:
Генерация текста
Задача: Генерация текста
Автор: MetaIX
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 15 | Загрузок: 61
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
