0. TL;DR 1. Подробности модели 2. Подробности обучения 3. Использование 4. Оценка 5. Цитирование — Разработано: https://www.tii.ae — Тип модели: Только причинный декодер — Архитектура: Pure-transformer — 1,58-битная версия — Язык(и) (NLP): Преимущественно английский — Лицензия: TII Falcon License 2.0 Модель была обучена в соответствии с недавними стратегиями обучения 1-битный пост в блоге LLM HF и 1-битный документ LLM. Более подробную информацию о протоколе обучения этой модели можно найти в техническом отчете Falcon-3, раздел «Сжатие». В настоящее время для использования этой модели вы можете использовать библиотеку преобразователей Hugging Face или библиотеку BitNet. Вы также можете играть с моделью, используя игровую площадку falcon-1.58bit (только для версии инструкции 7B). В следующей таблице мы сообщаем о наших внутренних тестах конвейера: Результаты оценки представляют собой нормализованный балл из задач списка лидеров версии 2 — результаты исходных моделей, представленные в блоге, представляют собой необработанные оценки 1,83 BBH 5,36 4,44 MMLU-PRO 2,78 1,36 MATH 0,26 0,48 Среднее 5,5 6,27
Модальности:
Генерация текста
Задача: Генерация текста
Автор: tiiuae
Теги: llama, bitnet, falcon3, text-generation-inference, endpoints_compatible, 8-bit
Лайков: 10 | Загрузок: 54
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
