Мы представляем CrystalChat, инструкцию по модели, доработанную из LLM360/Crystal. CrystalChat расширяет возможности Llama 2 для моделей, превосходно справляющихся как с языковыми задачами, так и с задачами кодирования. CrystalChat является частью модельной серии Pebble компании LLM360. CrystalChat использует последнюю контрольную точку CrystalCoder фазы 2 (CrystalCoderphase2checkpoint_214387) в качестве контрольной точки инициализации. Затем мы настраиваем модель, используя набор данных, упомянутый ниже. Мы также выполнили ту же точную настройку на последней контрольной точке CrystalCoder фазы 3 (CrystalCoderphase3checkpoint027728). Результаты тонкой настройки фаз 2 и 3 очень похожи, но точная настройка фазы 2 демонстрирует немного лучшую производительность в тестах английского языка. Мы выбираем результат тонкой настройки фазы 2 в качестве окончательной модели для CrystalChat**. Данные для точной настройки представляют собой смесь общедоступных языковых и кодовых наборов данных, а также изначально созданный набор данных под названием WebAlpaca с инструкциями по кодированию HTML. Набор данных WebAlpaca создан нами и используется как часть наших обучающих данных по настройке инструкций. Скоро мы выпустим набор данных WebAlpaca в отдельный репозиторий. Мы добавили несколько новых специальных токенов в токенизатор CrystalCoder для поддержки…
Модальности:
Генерация текста
Области применения:
Генерация кода Диалог / чат
Задача: Генерация текста
Автор: LLM360
Теги: crystalcoder, llm, code, custom_code, en, model-index
Лайков: 37 | Загрузок: 549
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
