Это Llama-3b для финской модели, описанной в статье «Масштабирование языковых моделей с ограничением данных». Предварительно обученная модель ламы на финском языке с использованием цели причинно-следственного моделирования языка (CLM). Модель ламы была представлена в этой статье и впервые опубликована на этой странице. Существуют две модели Llama разного размера, каждая из которых предварительно обучена с нуля для токенов 131B: «Финская Llama» — это модель в стиле GPT, предварительно обученная на очень большом массиве финских данных самоконтролируемым способом. Это означает, что он был предварительно обучен только на необработанных текстах, без каких-либо маркировок людьми (именно поэтому он может использовать множество общедоступных данных) с автоматическим процессом генерации входных данных и меток из этих текстов. Точнее, его обучали предсказывать следующее слово в предложениях. Точнее, входы — это последовательности непрерывного текста определенной длины, а цели — та же последовательность, сдвинутая на один токен (слово или фрагмент слова) вправо. Модель использует внутри механизм маски, чтобы гарантировать, что прогнозы для токена i используют только входные данные от 1 до i, но не будущие токены. Таким образом, модель изучает внутреннее представление финского языка, которое затем можно использовать для извлечения…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Finnish-NLP
Теги: llama, finnish, fi, text-generation-inference
Лайков: 4 | Загрузок: 83
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
