Cedille — это проект по переносу больших языковых моделей на неанглийские языки. Anna — это авторегрессионная языковая модель с 6 параметрами, основанная на архитектуре GPT-J и обученная с использованием кодовой базы mesh-transformer-jax. Анна обучалась немецкому тексту по той же методике, что и Борис, наша французская модель. Мы начали обучение с GPT-J, который прошел обучение на The Pile. Как следствие, модель по-прежнему хорошо работает на английском языке. Анна использует немодифицированный токенизатор GPT-2. Для загрузки модели с помощью Huggingface требуются две копии гирь, поэтому для моделей GPT-J с точностью float32 требуется более 48 ГБ ОЗУ. Первый трюк — загрузить модель с указанным ниже аргументом, чтобы загрузить только одну копию весов. Мы планируем в ближайшее время добавить ветку fp16. В сочетании с меньшей загрузкой памяти, указанной выше, загрузка может выполняться на 12,1 ГБ ОЗУ. По вопросам индивидуальной разработки свяжитесь с нами по адресу hello@cedille.ai.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Cedille
Теги: gptj, causal-lm, de, endpoints_compatible
Лайков: 10 | Загрузок: 7
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
