Архитектура модели COKAL-DPO_13b-v2 — это авторегрессионная языковая модель 13B, основанная на архитектуре преобразователя LLaMA2. DopeorNope/COKALpreDPOTestv2-13b — это модель SFT для обучения по методологии DPO. Набор обучающих данных — набор обучающих данных DPO: DopeorNope/DPO-Ko-Dataset — частный Этот набор данных был создан путем прямого сбора и реорганизации данных DopeorNope, получения информации из «lvwerra/stack-exchange-paired» для создания парного набора данных. (Это означает, что я не использую пару стека-обмена; я только что получил представление об этом.) — Набор обучающих данных SFT: DopeorNope/OrcaNearDedup-v2 — частный Этот набор данных основан на «kyujinpy/OpenOrca-KO» и был обработан с использованием алгоритма Near Dedup для удаления элементов с порогом сходства Жаккара 0,8 или выше. Кроме того, противоречивые входные данные были очищены и изменены. Обучение. Разница между «DopeorNope/COKAL-DPO_test-v2» и этой моделью заключается в том, что эта модель имеет гиперпараметры, отличные от тех, которые указаны в этой настройке относительно окончательной версии. Я разработал модель в среде с четырьмя графическими процессорами RTX 3090 под управлением Ubuntu 18.04. Похоже, что при загрузке модели напрямую в репозиторий с Linux-сервера могут возникнуть…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Markr-AI
Теги: llama, ko, text-generation-inference, endpoints_compatible
Лайков: 9 | Загрузок: 15
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
