0. TL;DR 1. Подробности модели 2. Подробности обучения 3. Использование 4. Оценка 5. Цитирование — Разработчик: https://www.tii.ae — Тип модели: Только причинный декодер — версия для инструкций/чата — Архитектура: Pure-transformer — 1,58-битная версия — Язык(и) (NLP): В основном английский — Лицензия: TII Falcon License 2.0 Модель прошла обучение после обучения стратегии из недавнего поста в блоге 1-bit LLM HF и статьи 1-bit LLM. Более подробную информацию о протоколе обучения этой модели можно найти в техническом отчете Falcon-3, раздел «Сжатие». В настоящее время для использования этой модели вы можете использовать библиотеку преобразователей Hugging Face или библиотеку BitNet. Вы также можете играть с моделью, используя игровую площадку falcon-1.58bit (только для версии инструкции 7B). В следующей таблице мы сообщаем о наших внутренних тестах конвейера: Результаты оценки представляют собой нормализованный балл из задач списка лидеров версии 2 — результаты исходных моделей в блоге представляют собой необработанные оценки BBH 5,36 2,24 MMLU-PRO 2,78 1,93 MATH 0,26 0,17 Среднее 5,5 8,6 — просмотрите публикацию в нашем блоге о выпуске. — Смело присоединяйтесь…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: tiiuae
Теги: llama, bitnet, falcon3, conversational, text-generation-inference, endpoints_compatible
Лайков: 10 | Загрузок: 134
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
