Новый OPEN TRURL — это доработанная версия Llama 2, обученная на более чем 1,7 миллиарда токенов (970 тысяч разговорных польских и английских образцов) с большим контекстом из 4096 токенов. TRURL обучался на большом количестве польских данных. TRURL 2 — это набор тонко настроенных генеративных текстовых моделей с 7 миллиардами и 13 миллиардами параметров. Это репозиторий для точно настроенной модели 13B, оптимизированной для сценариев использования диалога. Архитектура модели Trurl — это авторегрессионная языковая модель, использующая оптимизированную архитектуру преобразователя. Данные обучения включают в себя пары вопросов и ответов из различных источников, включая данные сравнения Alpaca с GPT, данные сравнения Falcon, Dolly 15k, Oasst1, Phu Saferlfhf, ShareGPT версии 2023.05.08v0, отфильтрованные и очищенные, частные наборы данных Voicelab для извлечения, изменения и анализа данных JSON, набор данных CURLICAT, содержащий записи журнала, набор данных из польской вики с парами вопросов и ответов, сгруппированными в беседы, Данные MMLU в текстовом формате, частный набор данных Voicelab с разговорами о продажах, аргументами и возражениями, перефразами, определением причины контакта и исправленными диалогами. Trurl 2 предназначен для коммерческого и исследовательского использования на польском и английском языках. Тюнингованные модели предназначены для…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Voicelab
Теги: llama, voicelab, llama-2, trurl, trurl-2, en, pl, text-generation-inference
Лайков: 29 | Загрузок: 1,096
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
