Базовая модель, используемая для обучения, — CallComply/openchat-3.5-0106-128k, длина контекста которой составляет 128 КБ. Эта модель была обучена на 31 000 примерах из набора данных m-a-p/Code-Feedback. Этот набор данных помогает модели повысить производительность интерактивного кода, позволяя ей самосовершенствоваться с помощью интерпретатора и обратной связи от человека. Он идеально подходит для таких приложений, как TaskWeaver, который помогает автоматически создавать код, или OpenInterpreter, который помогает вам писать код или выступает в качестве общего агента. Причиной выбора этой базовой модели является ее большая длина контекста и высокая производительность в каждой категории, особенно в кодировании. Эта модель была обучена выводить до 8192 токенов и по-прежнему наследует контекстное окно размером 128 КБ от базовой модели. Это лучшая обобщенная модель агента с открытым исходным кодом. Во время обучения мы отфильтровывали примеры, содержащие более 4096 токенов и менее 8192 токенов. Конечным результатом стала 31 тысяча примеров. Модель показала себя исключительно хорошо во время тестирования, что побудило нас выпустить ее, хотя мы планируем провести эталонное тестирование этой модели. Модель модифицирована и обучена обратно на стандартный токен Mistral EOS. Обучение состояло из: — Эпохи = 3 — Скорость обучения = 0,0002 -…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Vezora
Теги: mistral, text-generation-inference, endpoints_compatible
Лайков: 4 | Загрузок: 14
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
