We are excited to announce the release of Cerebras DocChat, our first iteration of models designed for document-based conversational question answering. В эту серию входят две модели: Cerebras Llama3-DocChat, модель большого языка (LLM), и Cerebras Dragon-DocChat, модель многооборотного ретривера. Эта модель — Cerebras Llama3-DocChat 1.0 8B — была построена на основе базы Llama 3 с использованием результатов последних исследований в области вопросов и ответов на основе документов, в первую очередь серии моделей Nvidia ChatQA. В рамках этой работы мы использовали наш опыт обучения моделей LLM и курирования наборов данных, чтобы устранить пробелы в выпущенных ChatQA наборах данных и рецептах обучения. Кроме того, мы использовали генерацию синтетических данных для устранения ограничений, которые невозможно полностью устранить с помощью имеющихся реальных данных. Используя единую систему Cerebras, Llama3-DocChat 8B был обучен за несколько часов. Дополнительную информацию о DocChat можно найти в следующих местах: Публикация в блоге Веса модели LLM на HuggingFace Встраивание весов модели в HuggingFace: кодировщик запросов, кодировщик контекста Код подготовки, обучения и оценки данных DocChat поддерживает стандартный шаблон чата Llama3 Instruct — никаких сложных функций форматирования…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: cerebras
Теги: llama, cerebras, doc-chat, DocChat, llama-3, conversational, en
Лайков: 69 | Загрузок: 14
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
