📚 Бумага | 💻 Репозиторий GitHub | 📄 Проектная документация | 🖥️ Демонстрация «Обнимающее лицо» 0. TL;DR 1. Подробности модели 2. Подробности обучения 3. Использование 4. Оценка 5. Цитирование Falcon-H1 — это новая серия больших языковых моделей (LLM) с новой гибридной архитектурой, которая сочетает в себе внимание на основе трансформатора с моделями пространства состояний (SSM) для превосходной долгоконтекстной памяти и вычислительной эффективности. Выпущенные в нескольких конфигурациях (параметры от 0,5 до 34 B), модели Falcon-H1 демонстрируют самые современные характеристики, исключительные параметры и эффективность обучения. Флагманский Falcon-H1-34B соответствует или превосходит модели масштаба до 70B, в то время как модели меньшего размера также демонстрируют высокие характеристики относительно своего размера. Эти модели превосходно справляются с рассуждениями, математикой, многоязычными задачами, выполнением инструкций и научными знаниями, поддерживая до 256 тысяч токенов контекста и 18 языков. Все модели выпускаются под разрешительной лицензией с открытым исходным кодом. — Разработано: https://www.tii.ae — Тип модели: только причинный декодер — Архитектура: гибридные трансформаторы + архитектура Mamba — Язык(и) (NLP): английский, многоязычный — Лицензия: лицензия Falcon-LLM Для получения более подробной информации о протоколе обучения…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: tiiuae
Теги: gguf, falcon-h1, ar, cs, de, en, es, fr
Лайков: 16 | Загрузок: 7,367
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
