Задачи : 1. Тонкая настройка GPT-2 125M для генерации и обобщения кода VHDL 2. Создайте веб-приложение gradle для вывода точно настроенной модели 3. Тонкая настройка более крупной модели Llama 3B для генерации и обобщения кода VHDL и сравнение ее производительности с производительностью GPT-2 VHDL расшифровывается как VHSIC Hardware Description Language (да, VHSIC также является аббревиатурой🙂). Это язык, используемый разработчиками аппаратного обеспечения для синтеза цифрового оборудования. Я использовал набор данных AWfaw/ai-hdlcoder-dataset-clean для получения кода VHDL. Обучение коду только с помощью кода VHDL позволит модели изучить грамматику VHDL, но это не служит нашей цели. Поэтому я воспользовался помощью GPT-3.5 для создания сводки набора файлов VHDL, которые я бы использовал, поскольку мой набор данных LLMforHDL.ipynb содержит предварительную обработку данных, генерацию набора данных и точную настройку модели gpt-2. В GradioAppGPT2HDL.ipynb я создал градиентное веб-приложение для взаимодействия с тонко настроенной моделью. Результаты : 1. LLM смог выучить грамматику языка VHDL (восстановленные слова, точка с запятой и т. д. ), но не смог сгенерировать осмысленный код 2. Модель выполнила «отлично» при суммировании небольших кодов (например, простого блока ROM), но не смогла…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: myn11
Теги: gpt2, text-generation-inference, endpoints_compatible
Лайков: 3 | Загрузок: 17
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
