Официальной модели 22b не существует. Это просто странный эксперимент, и любые потенциальные преимущества от его проведения не были подтверждены. https://huggingface.co/chargoddard/llama2-22b-blocktriangular Обучена одна эпоха из 52 тыс. строк Stanford Alpaca. Около 11 часов на 3090. У меня возникли проблемы с обучением с использованием другого метода 22b с параметром BLOCKDIAGONAL=True`, как показано по ссылке https://huggingface.co/chargoddard/llama2-22b, но с этим методом мне впервые удалось настроить таргетинг на все модули без нарушения выходных данных. targetmodules = [«qproj», «kproj», «vproj», «oproj», «upproj», «gateproj», «downproj»] Обучение проводилось при 5e-5 с r=32. Для получения дополнительной информации см. https://wandb.ai/nkpz/huggingface/runs/3oy5nbtv/workspace?workspace=user-nkpz Он отвечает достаточно последовательно, чтобы мне потребовалось провести несколько объективных тестов, чтобы определить, лучше это или хуже, чем стандартный Llama 13b.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: nkpz
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 2 | Загрузок: 6
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
