InfR стремится развивать системы искусственного интеллекта за счет улучшения логики, снижения барьеров внедрения и решения проблем конфиденциальности за счет меньших размеров моделей. – Разработчик: InfiX – Язык(и) (NLP): английский – Постоянное предварительное обучение на основе модели: [[meta-llama/Llama-3.2-1B]](https://huggingface.co/meta-llama/Llama-3.2-1B) – Репозиторий: [[github]](https://github.com/InfiXAI/InfiR) – Бумага [необязательно]: [[Arxiv]](https://arxiv.org/abs/2502.11573) — Сохраняются пробелы в производительности по сравнению с моделями 70 B+ при очень веских рассуждениях (например, OlympiadBench). — Безопасность и предвзятость: наследует токенизатор Llama-3.2 и распределение перед обучением; может отражать предвзятость в Интернете. — Прекращение знаний: середина 2023 года. — Оценка сосредоточена на тестах английского языка; многоязычная надежность не проверена. Для оптимальной производительности мы рекомендуем использовать PyTorch 2.0+ и CUDA 11.8+. Вот простой пример для начала работы с InfiR-1B-Instruct: Очистка данных: эвристические фильтры, дедупликация MinHash, обеззараживание 10-граммовых тестов, отбраковка выборки по модели вознаграждения. — База: Llama-3.2-1B (32 слоя, 32 головки, RoPE, GQA, 2k ctx → 4k расширенный) Се, К., Цай, С., Ван, В. и др. (2025). InfiR: Создание эффективных моделей малого языка и мультимодального малого языка…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: InfiX-ai
Теги: llama, conversational, en
Лайков: 8 | Загрузок: 7
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
