Эта модель является частью инициативы CroissantLLM и соответствует контрольной точке после 190 тысяч шагов (2,99 T) токенов и финальной фазы восстановления нешаблонных данных инструкций. Это самая мощная «базовая» модель, доступная в различных тестах. По сравнению с croissantllm/CroissantCool-v0.1, токенизатор немного изменен, чтобы принудительно выполнять одиночную токенизацию «n». Чтобы поиграть с финальной моделью, рекомендуем использовать версию для чата: https://huggingface.co/croissantllm/CroissantLLMChat-v0.1. Мы представляем CroissantLLM, языковую модель 1.3B, предварительно обученную на наборе английских и французских токенов 3T, чтобы предоставить исследовательскому и промышленному сообществу высокопроизводительную двуязычную модель с полностью открытым исходным кодом, которая быстро работает на локальном оборудовании потребительского уровня. С этой целью мы впервые применили подход к обучению двуязычной модели с соотношением данных предварительного обучения на английском и французском языках 1:1, пользовательским токенизатором и двуязычными наборами данных точной настройки. Мы публикуем набор обучающих данных, в частности содержащий французское разделение с тщательно отобранными вручную высококачественными и разнообразными источниками данных. Чтобы оценить производительность за пределами английского языка, мы разработали новый тест FrenchBench, состоящий из множества классификаций и…
Модальности:
Генерация текста
Области применения:
Генерация кода Диалог / чат Юриспруденция
Задача: Генерация текста
Автор: croissantllm
Теги: llama, legal, code, text-generation-inference, art, conversational, fr, en
Лайков: 4 | Загрузок: 77
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.