Эта модель была обучена на двух наборах данных, показанных на этой странице модели. — Skylion007/openwebtext: 1 000 000 примеров при размере пакета 32-4096 (1 эпоха) — Locutusque/TM-DATA: все примеры при размере пакета 12 288 (3 эпохи). Обучение заняло около 500 часов графического процессора на одном Titan V. Показатели обучения можно посмотреть здесь: https://wandb.ai/locutusque/TinyMistral-V2/runs/g0rvw6wc 🔥 Эта модель превосходно показала себя на TruthfulQA, превзойдя модели более чем в 720 раз больше ее размера. К этим моделям относятся: mistralai/Mixtral-8x7B-v0.1, tiiuae/falcon-180B, berkeley-nest/Starling-LM-7B-alpha, upstage/SOLAR-10.7B-v1.0 и другие. 🔥
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Locutusque
Теги: mistral, en, text-generation-inference, endpoints_compatible
Лайков: 17 | Загрузок: 1,086
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
