Эта модель была сегментирована с помощью torch.float16. Используйте приведенный ниже код, чтобы загрузить эту модель, настройте device_map для разделения графического процессора и процессора. CodeGen — это семейство авторегрессионных языковых моделей для синтеза программ из статьи «Разговорная парадигма синтеза программ» Эрика Нейкампа, Бо Панга, Хироаки Хаяши, Лифу Ту, Хуан Вана, Инбо Чжоу, Сильвио Саварезе, Каймин Сюн. Модели изначально опубликованы в этом репозитории в трех вариантах данных предварительного обучения (NL, Multi, Mono) и четырех вариантах размера модели (350M, 2B, 6B, 16B). Контрольная точка, включенная в этот репозиторий, обозначена в документе как CodeGen-NL 16B, где «NL» означает, что она предварительно обучена в куче, а «16B» относится к количеству обучаемых параметров. Эта контрольная точка (CodeGen-NL 16B) была предварительно обучена на Pile — крупномасштабном наборе данных, созданном EleutherAI. Части набора данных включают данные кода. CodeGen был обучен с использованием перекрестной энтропийной потери, чтобы максимизировать вероятность последовательных входных данных. Семейство моделей обучается с использованием нескольких TPU-v4-512 от Google, используя параллелизм данных и моделей. Более подробную информацию см. в разделе 2.3 статьи. Мы оцениваем наши модели с помощью двух тестов генерации кода: HumanEval и…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: abacaj
Теги: codegen, endpoints_compatible
Лайков: 7 | Загрузок: 451
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
