Языковая модель, состоящая только из 1,1 миллиарда параметров, полностью обученная с нуля — предварительное обучение, контролируемая точная настройка и выравнивание предпочтений — на 8 графических процессорах NVIDIA H100. — RoPE (Rotary Position Embeddings) with theta=10,000 — Grouped Query Attention (GQA) — 4:1 query-to-KV head ratio for effective inference — SwiGLU Feed-Forward Network — RMSNorm in a pre-norm configuration — Flash Attention 2 via PyTorch SDPA Эта модель была построена через полный 3-ступенчатый обучающий конвейер: — 8x NVIDIA H100 80GB HBM3 — Distributed Strategy: PyTorch DDP (DistributedDataParallel) — Communication: NCCL — Mixed Precision: BF16 autocast — Total Training Time: ~
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: dkumar15
Теги: llama, causal-lm, from-scratch, dpo, chat, conversational, en, text-generation-inference
Лайков: 3 | Загрузок: 39
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
