FILM-7B — это LLM с 32 тыс. контекстов, который решает проблему «потерянного посередине». Он обучается на Mistral-7B-Instruct-v0.2 с применением информационно-интенсивного обучения (In2). FILM-7B обеспечивает почти идеальную производительность при выполнении задач зондирования, производительность на уровне SOTA при выполнении реальных задач с длинным контекстом среди LLM размером ~7B и не ухудшает производительность в коротком контексте. Чтобы воспроизвести результаты нашего исследования VaL, см. руководство по адресу https://github.com/microsoft/FILM/tree/main/VaLProbing. Чтобы воспроизвести результаты реальных задач с длинным контекстом, см. руководство в https://github.com/microsoft/FILM/tree/main/realworldlong. Чтобы воспроизвести результаты задач с коротким контекстом, см. руководство в https://github.com/microsoft/FILM/tree/main/short_tasks. Отказ от ответственности: эта модель предназначена исключительно для исследовательских целей и не является официальным продуктом или услугой Microsoft.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: In2Training
Теги: mistral, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 11 | Загрузок: 40
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
