0. TL;DR 1. Подробности модели 2. Подробности обучения 3. Использование 4. Оценка 5. Цитирование — Разработчик: https://www.tii.ae — Тип модели: Только причинный декодер — версия для инструкций/чата — Архитектура: Pure-transformer — 1,58-битная версия — Язык(и) (NLP): В основном английский — Лицензия: TII Falcon License 2.0 Модель прошла обучение после обучения стратегии из недавнего блога 1-bit LLM HF и статьи 1-bit LLM. Более подробную информацию о протоколе обучения этой модели можно найти в техническом отчете Falcon-3, раздел «Сжатие». В настоящее время для использования этой модели вы можете использовать библиотеку преобразователей Hugging Face или библиотеку BitNet. Вы также можете играть с моделью, используя игровую площадку falcon-1.58bit (только для версии инструкции 7B). В следующей таблице мы сообщаем о наших внутренних тестах конвейера: Результаты оценки представляют собой нормализованный балл из задач списка лидеров версии 2. Результаты исходных моделей, представленные в блоге, представляют собой необработанные оценки. Эталонный показатель Llama3-8B-1.58-100B-токены Falcon3-10B-Instruct-1.58bit IFEval 17,91 54,37 MUSR 4,87 2,57 GPQA 1,83 4,27 BBH 5,36 6,59 MMLU-PRO 2,78 6,62 MATH 0,26 2,44 Среднее 5,5 12,81 — просмотрите публикацию в нашем блоге о выпуске. — Не стесняйтесь…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: tiiuae
Теги: llama, bitnet, falcon3, conversational, text-generation-inference, endpoints_compatible, 8-bit
Лайков: 25 | Загрузок: 602
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
