Academic TRURL — это доработанная версия Llama 2, обученная на более чем 1,7 миллиарда токенов (855 тысяч разговорных польских и английских образцов) с большим контекстом из 4096 токенов. TRURL обучался на большом количестве польских данных. TRURL 2 — это набор тонко настроенных генеративных текстовых моделей с 7 миллиардами и 13 миллиардами параметров. Это репозиторий для точно настроенной модели Academic 13B, оптимизированной для сценариев использования диалога. Эта модель была обучена без набора данных MMLU. Архитектура модели Trurl — это авторегрессионная языковая модель, использующая оптимизированную архитектуру преобразователя. Данные обучения включают в себя пары вопросов и ответов из различных источников, включая данные сравнения Alpaca с GPT, данные сравнения Falcon, Dolly 15k, Oasst1, Phu Saferlfhf, ShareGPT версии 2023.05.08v0, отфильтрованные и очищенные, частные наборы данных Voicelab для извлечения, изменения и анализа данных JSON, набор данных CURLICAT, содержащий записи журнала, набор данных из польской вики с парами вопросов и ответов, сгруппированными в беседы, Частный набор данных Voicelab с разговорами о продажах, аргументами и возражениями, перефразами, определением причин контакта и исправленными диалогами. Trurl 2 предназначен для коммерческого и исследовательского использования на польском и английском языках. Тюнингованные модели…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Voicelab
Теги: llama, voicelab, llama-2, trurl, trurl-2, en, pl, text-generation-inference
Лайков: 5 | Загрузок: 1,419
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
