ruGPT3XL-8k
Языковая модель в стиле GPT-2 с параметрами 1,3B для русского языка с расширенным контекстным окном из 8192 токенов,...
Метка: context-extension
LongRoPE
— Введение — Описание — Основные моменты реализации — Архитектура модели — Начало работы — Использование — Результаты...