FLM-101B — это LLM-декодер с открытым исходным кодом и 101 миллиардом параметров. В процессе обучения применялась методика роста модели. Модель быстро приобретает знания о мелкомасштабной модели (16B) на ранних этапах обучения и постепенно масштабируется до 101B, что приводит к экономически эффективному обучению LLM в масштабе 100B (стоимостью около 100 000 долларов США). FLM-101B поддерживает китайский и английский языки. При обучении длина контекстного окна составляет 2048. Благодаря использованию встраивания поворотных позиций xPos, это позволяет эффективно увеличивать размер окна во время вывода. Для продвижения разработки больших языковых моделей (LLM) масштаба 100B исходный код FLM-101B теперь полностью открыт. — Это китайско-английская двуязычная модель с открытым исходным кодом в масштабе 100B. — Это крупнейшая известная языковая модель, обученная с помощью xPos. — Это крупнейшая известная языковая модель, которая успешно реализует передачу µp и прогнозирование потерь. — Это крупнейшая известная языковая модель, которая успешно реализует прогрессивное обучение с ростом модели. — Тип модели: языковая модель только для декодера — Язык(и) (NLP): zh, en — Лицензия: apache-2.0 — Экстраполируемое встраивание позиций (xPos) — Flash Attention (в…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: CofeAI
Теги: flm, custom_code, zh, en, endpoints_compatible
Лайков: 92 | Загрузок: 22
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
