Sử dụng thư viện SentencePiece Unigram với vocabulary 10000 token. Tokenizer được huấn luyện trên dữ liệu tiếng Việt đã chuyển về chữ thường, giữ nguyên khoảng trắng và bật byte fallback để hạn chế token không xác định. Mỗi token ID được ánh xạ thành một vector có kích thước dmodel bằng nn.Embedding. Khác với Transformer trong bài báo Attention Is All You Need, vốn cộng sinusoidal positional encoding trực tiếp vào token embedding, SAI sử dụng Rotary Positional Embedding (RoPE)**. RoPE mã hoá vị trí tương đối bằng cách xoay các vector query và key trong attention. Context tối đa của mô hình là 10240 token. Trọng số của output language-model head được chia sẻ với ma trận embedding (weight tying). Cách này giảm số tham số và buộc biểu diễn đầu vào, đầu ra cùng nằm trong một không gian token. Query, key và value được chiếu qua một lớp tuyến tính gộp không dùng bias. Nhiều query head có thể dùng chung một cặp key/value head, nhờ đó giảm kích thước KV cache so với Multi-Head Attention thông thường. Số query head và KV head của bản phát hành được lấy trực tiếp từ config trong bảng trên. Attention được tính bằng scaleddotproductattention` của PyTorch, cho phép tự chọn cuDNN Attention,…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: thongbuind
Теги: SAI, custom-code, vietnamese, causal-lm, custom_code, vi
Лайков: 3 | Загрузок: 458
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
