Supra Mini v4 2M — очень маленькая модель, обученная на 3 миллиардах токенов Fineweb-Edu в течение 2 эпох, как четвертая версия нашей серии Supra Mini. — Параметры: 2 623 104 (2M) — Архитектура: Llama — Размер словаря с пользовательским токенизатором BPE: 8192 — Скрытый размер: 128 — Промежуточный размер: 512 — Скрытые слои: 6 — Заголовки внимания: 4 — Максимальное встраивание позиции: 1024 — Скорость обучения: 3e-4 — Уменьшение веса: 0,01 — Обучение в bfloat16 Эта модель достигла итоговых потерь CrossEntropy (на наборе поездов) 4,618. Подсказка: «Искусственный интеллект» Вывод:: «Искусственный интеллект — это идея теории о том, что в мире существует очень высокопроизводительная технология, которая также более важна для жизни общества, чем люди, которые могут найти свои собственные знания и понять, как их можно использовать для будущих поколений. Это было бы важным шагом в размышлении о том, о чем они думают и почему они не работают с ними. Это была всего лишь одна вещь, которую вам нужно знать, как и множество способов участвовать в жизни нашей планеты. Итак, если бы мы использовали этот новый подход до ИИ в науке или физике, тогда я собираюсь убедиться, что не существует вещей, которые действительно можно было бы сделать в таком объеме. Но я не хочу принимать во внимание…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: SupraLabs
Теги: llama, small, cpu, supra, v4, tiny, mini, open
Лайков: 8 | Загрузок: 353
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
