bling-falcon-1b-0.1 является частью серии моделей BLING («Лучшие небольшие инструкции, не требующие графического процессора»), инструкции обучены поверх базовой модели falcon-rw-1b. Модели BLING точно настраиваются с использованием отборных высококачественных пользовательских наборов данных инструкций, ориентированных на определенный подмножество задач инструкций с целью предоставления высококачественной модели инструкций, «готовой к выводу» на ноутбуке с процессором даже без использования каких-либо расширенных оптимизаций квантования. Оценка по эталонному тесту: RAG-Instruct-Benchmark-Tester Среднее значение 2 тестовых прогонов с 1 баллом за правильный ответ, 0,5 балла за частичный правильный ответ или пустой ответ / NF, 0,0 балла за неправильный ответ и -1 балл за галлюцинации. —Оценка точности: 89,0 правильных из 100 —Классификация не найдена: 57,5% —Булевы значения: 57,5% —Математика/логика: 25% —Сложные вопросы (1–5): 1 (низкое) —Качество обобщения (1–5): 3 (связное, извлекающее) —Галлюцинации: при тестировании галлюцинаций не наблюдалось. Обратите внимание, что эти результаты оценки были обновлены по сравнению с исходными (вверх), поскольку мы исправили небольшую ошибку в исходном сценарии тестового вывода для этой модели. Исправленные результаты теста находятся в репозитории файлов и были сгенерированы…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: llmware
Теги: falcon, custom_code, text-generation-inference
Лайков: 12 | Загрузок: 46
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
