Пример кода на Python Загрузка модели Завершение предложения Загрузка контрольной точки Подробности обучения Процедура обучения данных обучения Обучение архитектуры нейронной сети Гиперпараметры 1. Основное предварительное обучение 2. Расширение длины контекста 3. Отжиг журналов обучения и кривых обучения Lucie-7B — это предварительно обученная причинно-следственная языковая модель с 7B параметрами, созданная LINAGORA и OpenLLM-France. Люси-7B была обучена на 3 триллионах токенов многоязычных данных, включая английский (33,2%), французский (32,4%), немецкий (6,9%), испанский (6,6%), итальянский (3,8%) и параллельные данные с этих языков (2,5%), а также нескольких языков программирования (14,7%). Загрузите модель (по возможности квантованную версию на графическом процессоре, для эффективного вывода): оберните модель в конвейер генерации текста и укажите некоторые параметры генерации: при работе на графическом процессоре (устройство cuda) вам понадобится как минимум 6 ГБ видеопамяти для выполнения вывода с использованием 4-битного квантования (16 ГБ видеопамяти без 4-битного квантования). Контрольные точки на нескольких шагах обучения доступны под тегами редакций, каждые 5000 шагов в течение первых 25000 шагов, а затем каждые 25000 шагов. Промежуточные контрольные точки можно загрузить с помощью параметра ревизии: где ревизия может быть одной из: …
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: OpenLLM-France
Теги: tensorboard, llama, pretrained, llama-3, openllm-france, conversational, fr, en
Лайков: 26 | Загрузок: 331
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
