StarCoder-1b-textbook — это доработанная версия starcoderbase-1b для набора данных code_exercices. Он достигает 27,0 прохода@1 в тесте кодирования Human Eval, имея при этом всего 1b параметров. Это улучшение почти на 12 пунктов по сравнению с базовым показателем Starcoder 1b, что почти вдвое превышает результат. Результаты (в тесте оценки человеком) находятся на одном уровне с другими моделями с открытым исходным кодом, такими как StarCoderBase (30.4), StarCoder (33.6) CodeGen-16B-Mono (29.3), хотя модель в 15 раз меньше. Он по-прежнему уступает другим моделям, таким как CodeLLama (53%), чат gpt 4 (82) или Wizard coder (73.2), но эти модели более чем в 30 раз больше. Мы выполнили полную настройку параметров и использовали Nvidia a40 в течение 12 часов, используя размер пакета 128 и размер микропакета 8. Чтобы воспроизвести обучение, просто следуйте инструкциям по обучению в нашей базе кода с открытым исходным кодом. Тест на оценку человека не является идеальным тестом и не полностью отражает способности LLM к кодированию. Эта модель хорошо справляется с задачей, описанной в тесте, но это не обязательно означает, что наша модель находится на одном уровне с более крупными моделями помощника по кодированию LLM. Эта модель не является моделью, настроенной по инструкциям, и не может использоваться в качестве…
Модальности:
Генерация текста
Области применения:
Генерация кода
Задача: Генерация текста
Автор: jinaai
Теги: gpt_bigcode, HumanEval, StarCoder, en, model-index, text-generation-inference, endpoints_compatible
Лайков: 7 | Загрузок: 12
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
