Эта модель была представлена в статье «Масштабирование языковых моделей с ограничением данных». Ahma-3B — это модель преобразователя только для декодера параметров 3B, основанная на архитектуре Meta Llama (v1), предварительно обученная с нуля на финском языке. Оригинальная архитектура модели Llama была представлена в этой статье и впервые опубликована на этой странице. Что означает Ахма? Ахма — по-фински росомаха! В финской Лапландии росомахи являются основной причиной ущерба оленям. Существуют две базовые модели Ahma разного размера, обе предварительно обученные с нуля: Ahma-3B для токенов 139B и Ahma-7B для токенов 149B: Эта модель была предварительно обучена только методом самостоятельного обучения, без какого-либо контролируемого обучения. Вы можете использовать эту модель для генерации текста или настроить ее для последующих задач. В этой модели применялся двухэтапный подход к предварительному обучению, при котором примеры выполнения одноходовых инструкций смешивались с другими данными обучения на втором этапе (подробнее объясняется позже в этом файле ознакомительных сведений). Благодаря такому подходу эта предварительно обученная модель уже способна следовать инструкциям, но вы можете получить еще лучшие результаты, если специально настроите ее для следования инструкциям или других вариантов использования. Для выполнения инструкций…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Finnish-NLP
Теги: llama, finnish, conversational, fi, text-generation-inference
Лайков: 12 | Загрузок: 100
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
