0. TL;DR 1. Подробности модели 2. Подробности обучения 3. Использование 4. Оценка 5. Цитирование — Разработчик: https://www.tii.ae — Тип модели: Только причинный декодер — версия для инструкций/чата — Архитектура: Pure-transformer — 1,58-битная версия — Язык(и) (NLP): В основном английский — Лицензия: TII Falcon License 2.0 Модель прошла обучение после обучения стратегии из недавнего блога 1-bit LLM HF и статьи 1-bit LLM. Более подробную информацию о протоколе обучения этой модели можно найти в техническом отчете Falcon-3, раздел «Сжатие». В настоящее время для использования этой модели вы можете использовать библиотеку преобразователей Hugging Face или библиотеку BitNet. Вы также можете играть с моделью, используя игровую площадку falcon-1.58bit (только для версии инструкции 7B). В следующей таблице мы сообщаем о наших внутренних тестах конвейера: Результаты оценки представляют собой нормализованный балл из задач списка лидеров версии 2 — результаты исходных моделей, представленные в блоге, представляют собой необработанные оценки 5,25 BBH 5,36 5,79 MMLU-PRO 2,78 3,41 MATH 0,26 0,77 Среднее 5,5 8,61 — просмотрите публикацию в нашем блоге о выпуске. — Не стесняйтесь…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: tiiuae
Теги: llama, bitnet, falcon3, conversational, text-generation-inference, endpoints_compatible
Лайков: 13 | Загрузок: 141
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
