Мы доработали Phind-CodeLlama-34B-v1 на дополнительных 1,5 млрд токенов высококачественных данных, связанных с программированием, достигнув 73,8% проходимости @1 на HumanEval. Это современный уровень среди моделей с открытым исходным кодом. Кроме того, эта модель настроена на формат Альпаки/Викуньи, чтобы быть управляемой и простой в использовании. Эта модель является усовершенствованной версией Phind-CodeLlama-34B-v1 и достигает 73,8% проходимости @1 на HumanEval. Phind-CodeLlama-34B-v2 говорит на нескольких языках и владеет Python, C/C++, TypeScript, Java и другими языками. Мы настроили собственный набор данных из 1,5 млрд токенов высококачественных проблем программирования и решений. Этот набор данных состоит из пар инструкция-ответ вместо примеров завершения кода, что структурно отличает его от HumanEval. LoRA не использовался — обе модели имеют встроенную настройку. Мы использовали DeepSpeed ZeRO 3 и Flash Attention 2 для обучения этих моделей за 15 часов на 32 графических процессорах A100-80 ГБ. Мы использовали длину последовательности 4096 токенов. Эта модель прошла очень ограниченное тестирование. Перед любым реальным развертыванием следует провести дополнительные испытания на безопасность. – Тип оборудования: 32x A100-80 ГБ – Использованное время: 480 графических часов – Поставщик облачных услуг: AWS – Вычислительный регион: us-east-1
Модальности:
Генерация текста
Области применения:
Генерация кода
Задача: Генерация текста
Автор: Phind
Теги: llama, code llama, model-index, text-generation-inference, endpoints_compatible
Лайков: 833 | Загрузок: 2,036
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
