WizardCoder-Guanaco-15B-V1.1 — это языковая модель, сочетающая в себе сильные стороны базовой модели WizardCoder и набора данных openassistant-guanaco для точной настройки. Набор данных openassistant-guanaco был дополнительно сокращен до 2 стандартных отклонений размера токена для входных и выходных пар, а все неанглоязычные данные были удалены, чтобы уменьшить требования к размеру обучения. Версия 1.1 демонстрирует заметные улучшения, используя модифицированную версию предыдущего набора данных openassistant-guanaco. Этот набор данных подвергся всесторонней переработке, в ходе которой каждый ответ был заменен ответами, сгенерированными GPT-4. Объем наборов данных также увеличился примерно на 50%, при этом особое внимание уделяется старшей школе и абстрактной алгебре. В этом расширении использовались объединенные возможности GPT-4 и GPT-3.5-Turbo. Первоначальная оценка алгебраических функций за 12 эпох показала многообещающие результаты из этого обогащенного набора данных. Однако это только начало; В стадии разработки находятся дальнейшие усовершенствования, направленные на оптимизацию качества набора данных и последующее уменьшение количества эпох, необходимых для достижения сопоставимых результатов. Учитывая необходимость сократить потребление памяти во время…
Модальности:
Генерация текста
Области применения:
Генерация кода
Задача: Генерация текста
Автор: LoupGarou
Теги: gpt_bigcode, en, text-generation-inference, endpoints_compatible
Лайков: 12 | Загрузок: 1,028
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
