Новый OPEN TRURL — это доработанная версия Llama 2, обученная на более чем 1,7 миллиарда токенов (970 тысяч разговорных польских и английских образцов) с большим контекстом из 4096 токенов. TRURL обучался на большом количестве польских данных. TRURL 2 — это набор тонко настроенных генеративных текстовых моделей с 7 миллиардами и 13 миллиардами параметров. Это репозиторий для точно настроенной 8-битной модели QUANTIZED 13b, оптимизированной для сценариев использования диалогов. Квантование приводит к значительно меньшей и более быстрой модели за счет немного (а иногда и значительно) худших результатов, в зависимости от уменьшения размера и предоставленных входных данных. Если вам нужна полная версия, проверьте ее здесь: TRURL 13b TRURL 7b Архитектура модели Trurl — это авторегрессионная языковая модель, использующая оптимизированную архитектуру преобразователя. Данные обучения включают в себя пары вопросов и ответов из различных источников, включая данные сравнения Alpaca с GPT, данные сравнения Falcon, Dolly 15k, Oasst1, Phu Saferlfhf, ShareGPT версии 2023.05.08v0, отфильтрованные и очищенные, частные наборы данных Voicelab для извлечения, изменения и анализа данных JSON, набор данных CURLICAT, содержащий записи журнала, набор данных из польской вики с парами вопросов и ответов, сгруппированными в беседы, Данные MMLU в текстовом виде…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Voicelab
Теги: llama, voicelab, llama-2, trurl, trurl-2, en, pl, text-generation-inference
Лайков: 10 | Загрузок: 8
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
