Этот репозиторий содержит базовую модель для конкретной предметной области, разработанную на основе LLaMA-1-7B с использованием метода, описанного в нашей статье «Адаптация больших языковых моделей посредством понимания прочитанного». Мы изучаем возможность продолжения предварительного обучения на предметно-ориентированных корпусах для больших языковых моделей. Хотя этот подход обогащает LLM знаниями в предметной области, он существенно ухудшает их способность подсказывать ответы на вопросы. Вдохновленные человеческим обучением посредством понимания прочитанного, мы предлагаем простой метод преобразования крупномасштабных корпусов предварительного обучения в тексты для понимания прочитанного, последовательно улучшая эффективность подсказок при выполнении задач в области биомедицины, финансов и права. Наша модель 7B конкурирует с гораздо более крупными предметно-ориентированными моделями, такими как BloombergGPT-50B. ************************* Обновления ********************** 29.11.2024: Выпущена AdaMLLM для адаптации MLLM к доменам 20.09.2024: Наша исследовательская работа по Instruction-Pretrain принята EMNLP 2024 29.08.2024: Обновленные рекомендации по оценке любых моделей 🤗Huggingface для задач, специфичных для предметной области 22.06.2024: Выпущен код для сравнительного анализа. 21.06.2024: Выпущена общая версия AdaptLLM на сайте Instruction-Pretrain. 2.04.2024: Выпущены разделения необработанных данных (обучение…
Модальности:
Генерация текста
Области применения:
Медицина Биология
Задача: Генерация текста
Автор: AdaptLLM
Теги: llama, biology, medical, en, text-generation-inference, endpoints_compatible
Лайков: 48 | Загрузок: 87
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
