InfR стремится развивать системы искусственного интеллекта за счет улучшения логики, снижения барьеров внедрения и решения проблем конфиденциальности за счет меньших размеров моделей. – Разработчик: InfiX – Язык(и) (NLP): английский – Постоянное предварительное обучение на основе модели: [[meta-llama/Llama-3.2-1B]](https://huggingface.co/meta-llama/Llama-3.2-1B) – Репозиторий: [[github]](https://github.com/InfiXAI/InfiR) – Бумага [необязательно]: [[Arxiv]](https://arxiv.org/abs/2502.11573) — Ограничения базовой модели: это базовая модель, которая в основном выполняет завершение текста, а не выполнение инструкций. Он может не понимать сложные вопросы и не давать прямых ответов так же эффективно, как модели, настроенные на инструкции. Для улучшения возможностей ответа на вопросы рассмотрите возможность использования версии, настроенной на инструкции (InfiR-1B-Instruct). — Сохраняются различия в производительности по сравнению с моделями 70 B+ по очень веским аргументам (например, OlympiadBench). — Безопасность и предвзятость: наследует токенизатор Llama-3.2 и распределение перед обучением; может отражать предвзятость в Интернете. — Прекращение знаний: середина 2023 года. — Оценка сосредоточена на тестах английского языка; многоязычная надежность не проверена. Для оптимальной производительности мы рекомендуем использовать PyTorch 2.0+ и CUDA 11.8+. Очистка данных: эвристические фильтры, MinHash…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: InfiX-ai
Теги: llama, en
Лайков: 6 | Загрузок: 19
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
