Supra Mini 0.1M — это очень маленькая, да, очень маленькая базовая модель, обученная на 500 миллионах токенов Fineweb-Edu в течение двух эпох, чтобы доказать, насколько хорошо очень маленькие модели могут работать с мировыми знаниями. — Параметры: 117 648 (0,1M) — Архитектура: Llama — Размер словаря с пользовательским токенизатором BPE: 250 — Скрытый размер: 48 — Промежуточный размер: 96 — Скрытые слои: 4 — Внимание: заголовки: 4 — Максимальное встраивание позиций: 256 — Скорость обучения: 6e-4 — Уменьшение веса: 0,01 Эта модель достигла окончательной потери поезда после 2 эпохи 1.819. Подсказка: «Искусственный интеллект» Вывод:: «Искусственный интеллект — это сила, руководящая сообществом, книга, которую можно принести и сделать для производства задней части установки и рассмотреть в нескольких с» Подсказка: «Основная концепция физики» Вывод:: «Основная концепция физики — это борьба за развитие компании, решение работы первого может быть частью поставки, часть состояния управления», Подсказка: «Однажды,» Вывод:: «Давным-давно, чтобы он провел обзор, который представляет собой самоописанную серию хирургии действительно политики процесса южного материала исследования». Чтобы использовать нашу модель, просто запустите…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: SupraLabs
Теги: llama, small, cpu, supra, tiny, mini, open, open-source
Лайков: 5 | Загрузок: 227
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
