Используйте следующий набор данных для точной настройки bigcode/starcoder2-15b, чтобы улучшить рассуждения и возможности планирования модели. Всего 986 тыс. образцов. — teknium/OpenHermes-2.5 — TokenBender/pythonevalinstruct_51k — Spider — codefuse-ai/Evol-instruction-66k Например: « Вы являетесь интеллектуальным помощником по программированию. json {‘ARC (accnorm)’: , ‘HellaSwag (accnorm)’: , ‘MMLU (acc)’: , ‘TruthfulQA (mc2)’: , ‘Winoground (acc)’: , ‘GSM8K (acc)’: , ‘DROP (f1)’: , ‘Open LLM Score’: } 1. Краткое описание модели 2. Использование 3. Ограничения 4. Обучение 5. Лицензия 6. Модель Citation StarCoder2-15B — это модель параметров 15B, обученная на 600 языках программирования из The Stack v2, с исключением запросов на отказ. Модель использует Grouped Query Attention, контекстное окно из 16 384 токенов со скользящим окном внимания 4096 токенов, и была обучена с использованием цели Fill-in-the-Middle на 4 триллионах токенов. Модель была обучена с помощью NVIDIA NeMo™ Framework с использованием суперкомпьютера NVIDIA Eos, построенного на системах NVIDIA DGX H100. — Веб-сайт проекта: bigcode-project.org — Документ: Ссылка — Контактное лицо: contact@bigcode-project.org — Языки: 600 языков программирования Модель была обучена коду GitHub, а также…
Модальности:
Генерация текста
Области применения:
Генерация кода
Задача: Генерация текста
Автор: uukuguy
Теги: starcoder2, code, model-index, text-generation-inference, endpoints_compatible
Лайков: 3 | Загрузок: 50
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
