Набор данных: https://huggingface.co/datasets/osunlp/TableInstruct/ Мы представляем TableLlama, большую универсальную модель с открытым исходным кодом, специально предназначенную для различных задач на основе таблиц. Модель TableLlama обучена на 🤗 TableInstruct Dataset, тщательно подобранном наборе данных для настройки инструкций для таблиц. TableLlama настроен на 2,6 миллиона табличных данных задач и может обрабатывать контекст до 8 КБ! Модели обучаются на наборе данных 🤗 TableInstruct, который включает в себя комплексный набор данных для настройки инструкций на основе таблиц, который охватывает множество реальных таблиц и реалистичных задач. Всего мы включаем 14 наборов данных по 11 задачам. Для получения более подробной информации ознакомьтесь с карточкой набора данных. Модели точно настраиваются с помощью набора данных TableInstruct с использованием LongLoRA (7B), полностью доработанной версии в качестве базовой модели, которая заменяет ванильный механизм внимания оригинальной Llama-2 (7B) с коротким смещением внимания. Обучение занимает 9 дней на кластере 48 80*A100. Ознакомьтесь с нашей статьей для получения более подробной информации. Модели оцениваются на 8 внутридоменных наборах данных по 8 задач и на 6 внедоменных наборах данных по 4 задачи. Вы можете использовать модели через библиотеку Трансформеров Huggingface. Посетите наш репозиторий Github для более расширенного использования:…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: osunlp
Теги: llama, en, text-generation-inference, endpoints_compatible
Лайков: 32 | Загрузок: 682
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
