Минуэза-2-96М — компактная языковая модель, основанная на архитектуре Llama. Он был обучен с нуля на наборах данных на английском и португальском языках, используя длину контекста 4096 токенов и обрабатывая 185 миллиардов токенов в процессе обучения. Имея всего 96 миллионов параметров, эта модель служит легкой основой, которую впоследствии можно точно настроить для конкретных приложений. Из-за своего компактного размера модель имеет значительные ограничения в рассуждениях, фактических знаниях и общих возможностях по сравнению с более крупными моделями. Он может генерировать неправильные, нерелевантные или бессмысленные выходные данные. Более того, поскольку он был обучен на текстовых данных из Интернета, он может содержать предвзятость и потенциально создавать неприемлемый контент. Эта модель была создана со следующими целями: — Запуск в мобильных веб-браузерах через Wllama и Transformers.js. — Работайте быстро на машинах без графического процессора. — Служить основой для тонкой настройки с использованием формата ChatML. Это модель-трансформер с архитектурой Llama, обученная на контекстном окне из 4096 токенов.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Felladrin
Теги: llama, llama-factory, conversational, en, pt, text-generation-inference, endpoints_compatible
Лайков: 6 | Загрузок: 16
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
