Un modèle de langage (LLM) français construit de zéro — tokenizer, architecture, pré-entraînement, fine-tuning chat, jusqu’à l’infrastructure d’entraînement sur Colab/Kaggle. Aucune brique n’est empruntée à un modèle pré-entraîné existant : tout est entraîné depuis des poids aléatoires sur du texte français. — Vue d’ensemble — Architecture — Tailles de modèle — Tokenizer — Pipeline de données — Entraînement — Infrastructure Colab / Kaggle — Résultats actuels — Limites connues — Extensions expérimentales — Structure du projet — Reproduire un entraînement — Feuille de route Cette architecture est générique et paramétrée entièrement par ModelArgs (dim, nlayers, nheads, nkvheads, maxseqlen) — changer de taille de modèle ne demande de toucher qu’à cette dataclass. Règle de dimensionnement utilisée : Chinchilla (~20 tokens d’entraînement par paramètre). Micro à Medium ont tous été entraînés avec un corpus très inférieur à ce ratio — c’est la cause principale de leurs limites (voir Résultats actuels). Opsiom-Large est le premier modèle du projet dont le corpus de pré-entraînement respecte ce ratio : ⚠️ Respecter Chinchilla optimise la perte de pré-entraînement du modèle base — ça ne…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: JuloEco
Теги: IA, Token, dataset, fr
Лайков: 3 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
