Эта модель является частью инициативы CroissantLLM и соответствует контрольной точке после 190 тыс. шагов (2,99 Т) токенов и финальной фазы точной настройки чата. Для достижения наилучшей производительности его следует использовать с температурой 0,3 или выше и с точным шаблоном, описанным ниже: Мы представляем CroissantLLM, языковую модель 1.3B, предварительно обученную на наборе английских и французских токенов 3T, чтобы предоставить исследовательскому и промышленному сообществу высокопроизводительную двуязычную модель с полностью открытым исходным кодом, которая быстро работает на локальном оборудовании потребительского уровня. С этой целью мы впервые применили подход к обучению двуязычной модели с соотношением данных предварительного обучения на английском и французском языках 1:1, пользовательским токенизатором и двуязычными наборами данных точной настройки. Мы публикуем набор обучающих данных, в частности содержащий французское разделение с тщательно отобранными вручную высококачественными и разнообразными источниками данных. Чтобы оценить производительность за пределами английского языка, мы разработали новый тест FrenchBench, состоящий из набора задач классификации и генерации, охватывающих различные ортогональные аспекты производительности модели на французском языке. Кроме того, следуя принципам прозрачности и способствуя дальнейшим исследованиям моделей большого языка, мы выпускаем кодовые базы и…
Модальности:
Генерация текста
Области применения:
Генерация кода Диалог / чат Юриспруденция
Задача: Генерация текста
Автор: croissantllm
Теги: llama, legal, code, text-generation-inference, art, conversational, fr, en
Лайков: 52 | Загрузок: 463
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
