В этом репозитории используетсяtrustremotecode=True, поскольку он содержит собственный файл modeling.py/configuration.py. (Только на французском языке мы планируем 20 языков, а также научные и математические знания для BinaryLLM1) — 10 миллионов параметров — 2 миллиарда жетонов предварительного обучения — Без SFT, только предварительное обучение — 40 тыс. шагов — Скорость обучения 1e-4 — Вес Fp32, обучение FSDP на 8 NVIDIA V100 кодирует приглашение в 2 бита счисления (UTF-8, MSB→LSB), запускает руководство цикл «токен за токеном» (без генерации), * декодирует сгенерированные биты обратно в текст (строгое декодирование с максимальными усилиями). Эта модель не требует токенизатора: приглашение ввода кодируется битами по основанию 2 (байты UTF-8 → MSB→LSB). Некоторые подсказки могут декодироваться лучше, чем другие, в зависимости от распределения обучения (например, частые фразы).
Модальности:
Генерация текста
Задача: Генерация текста
Автор: PhysiQuanty
Теги: binaryllm, binary-level, bit-level, causal-lm, tokenizer-free, base2, binary, TinyTransformerLM
Лайков: 9 | Загрузок: 315
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
