Этот выпуск, CausalLM/35b-beta-long, представляет собой кульминацию нашего опыта и накопленных обучающих данных в области тонкой настройки больших языковых моделей. Мы открываем исходный код этих весов, чтобы способствовать развитию сообщества разработчиков программного обеспечения с открытым исходным кодом. В качестве основы мы выбрали многоязычную модель MHA Cohere с 35B параметрами и длинным контекстом [CohereForAI/c4ai-command-r-v01]. По нашей оценке, он оказался наиболее чувствительным к качеству обучающих данных в процессе контролируемой точной настройки, превосходя другие LLM с открытым исходным кодом. Хотя первоначальная версия SFT/RL ориентирована на конкретные задачи и поставляется с некоммерческой лицензией, мы считаем, что в настоящее время это лучшая основа для личного и внутреннего использования. Используя обширный фактический контент, полученный при сканировании веб-страниц, мы синтезировали более 30 миллионов записей данных многоходового диалога, основанных на нескольких веб-страницах или документах. Этот процесс включал существенный человеческий контроль и конвейер данных, предназначенный для обеспечения высокого качества. Затем модель была обучена на этих данных в полном контексте 128 КБ с использованием точности BF16. Мы также включили широко используемые наборы данных диалогов с открытым исходным кодом, чтобы повысить общую беглость разговорной речи. Наш подход к синтезу данных…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: CausalLM
Теги: cohere, conversational, en, zh, ja, de, text-generation-inference, endpoints_compatible
Лайков: 67 | Загрузок: 63
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
