Оглавление — Карточка модели для Luciole-1B-Base — Описание модели — Использование — Прямое использование — Дальнейшее использование — Использование за пределами области применения — Предвзятость, риски и ограничения — Рекомендации — Пример кода на Python — Загрузка модели — Завершение предложения — Загрузка промежуточных контрольных точек — Детали обучения — Данные обучения — Процедура обучения — Архитектура нейронной сети — Гиперпараметры обучения — Сходимость и оценка обучения — Потеря обучения — Оценка — Цитирование — Благодарности — свяжитесь с Luciole-1B-Base — это предварительно обученная причинно-следственная языковая модель с параметрами 1B, разработанная LINAGORA и консорциумом OpenLLM-France в рамках проекта OpenLLM France, финансируемого BPI France в рамках программы France 2030. Обучение проходило на суперкомпьютере GENCI Jean Zay, которым управляет IDRIS. Luciole-1B-Base была обучена примерно на 5 триллионах токенов многоязычных данных, включая английский (41,9%), французский (30,4%), немецкий (3,8%), испанский (3,5%), итальянский (1,9%), португальский (1,3%), голландский (1,0%), арабский (0,5%) и небольшую подгруппу региональных языков, включая региональные языки французской агломерации, варианты французского языка и французский язык. креолы со всего мира (0,4%). Последние были выбраны из…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: OpenLLM-France
Теги: nemotron, pretrained, openllm-france, fr, en, it, de, es
Лайков: 5 | Загрузок: 392
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
