Эта языковая модель представляет собой версию 0.0 Помощника по градиентному кодированию. Это версия StarCoder с доработанными инструкциями, предназначенная для оказания помощи разработчикам, использующим градиент. Набор данных имеет несколько источников. Его содержимое взято из следующих источников: The stack Точнее, мы рассмотрели the-stack-dedup, который содержит коды разрешительных лицензий. Мы включили в шорт-лист файлы, в содержании которых использовалось ключевое слово «градиент». — Проблемы с GitHub Мы удалили все проблемы из официального репозитория the-gradio-app/gradio и добавили их в наш набор обучающих данных. — Пространства в Hugging Face Hub Мы использовали API HuggingFace_Hub для сбора данных из пространств, созданных с использованием градиента. Мы отслеживали те, у кого были разрешительные лицензии, а именно MIT и Apache 2.0. Этот набор кода был дополнительно дедуплицирован. Для тонкой настройки мы решили следовать двухэтапной стратегии. — Предварительное обучение (тонкая настройка) с прогнозированием следующего токена на основе ранее созданного набора данных градиента (этот шаг должен ознакомить модель с синтаксисом градиента). — Точная настройка инструкций для набора данных инструкций (этот шаг должен сделать модель диалоговой). Для обоих шагов мы использовали эффективные параметры…
Модальности:
Генерация текста
Области применения:
Генерация кода
Задача: Генерация текста
Автор: ArmelR
Теги: gpt_bigcode, text-generation-inference, endpoints_compatible
Лайков: 5 | Загрузок: 8
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
