Я пытался создать длинный контекстный конвейер RAG с помощью этой модели, но у меня очень ограниченные ресурсы для тестирования этого рабочего процесса. Имейте в виду, что это эксперимент. Эта модель представляет собой «объединение» winglian/llama-3-8b-256k-PoSE и nvidia/Llama3-ChatQA-1.5-8B. Сначала я извлек адаптер Lora из nvidia/Llama3-ChatQA-1.5-8B с помощью mergekkit. Адаптер можно найти здесь. После извлечения я объединил адаптер с моделью winglian/llama-3-8b-256k-PoSE. Поскольку базовая модель не была настроена для какого-либо конкретного формата, мы можем использовать формат чата ChatQA. Большое спасибо Meta Team, Nvidia Team и, конечно же, Wing Lian. Эта модель не тестировалась ни на каких тестах из-за вычислительных ограничений. Базовая модель также не оценивалась с использованием Needle in Haystack. Существует большая вероятность того, что эта модель может работать хуже, чем обе оригинальные модели.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: beratcmn
Теги: llama, mergekit, peft, nvidia, chatqa-1.5, chatqa, llama-3, en
Лайков: 6 | Загрузок: 5
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
