0. TL;DR 1. Подробности модели 2. Подробности обучения 3. Использование 4. Оценка 5. Цитирование — Разработчик: https://www.tii.ae — Тип модели: Только причинный декодер — версия для инструкций/чата — Архитектура: Pure-transformer — 1,58-битная версия — Язык(и) (NLP): В основном английский — Лицензия: TII Falcon License 2.0 Модель прошла обучение после обучения стратегии из недавнего блога 1-bit LLM HF и статьи 1-bit LLM. Более подробную информацию о протоколе обучения этой модели можно найти в техническом отчете Falcon-3, раздел «Сжатие». В настоящее время для использования этой модели вы можете использовать библиотеку преобразователей Hugging Face или библиотеку BitNet. Вы также можете играть с моделью, используя игровую площадку falcon-1.58bit (только для версии инструкции 7B). В следующей таблице мы сообщаем о наших внутренних тестах конвейера: Результаты оценки представляют собой нормализованный балл из задач списка лидеров версии 2 — результаты исходных моделей, представленные в блоге, представляют собой необработанные оценки 5,25 BBH 5,36 8,54 MMLU-PRO 2,78 8,44 MATH 0,26 2,93 Среднее 5,5 14,36 — просмотрите публикацию в нашем блоге о выпуске. — Не стесняйтесь…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: tiiuae
Теги: llama, bitnet, falcon3, conversational, text-generation-inference, endpoints_compatible, 8-bit
Лайков: 16 | Загрузок: 1,464
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
