Конфигурация LoRA: — Ранг: 64 — Альфа: 128 — Целевые модули: все линейные уровни (q,k,v,o,ворота, вверх, вниз) — Отсев: 0,05 — Разговорные данные (40%): Многоходовые диалоги с упором на полезность — Следование инструкциям (30%): выполнение задач и соблюдение инструкций — Примеры безопасности (15%): обучение отказу от вредных запросов — Специфические для предметной области (15%): задачи по программированию, написанию, анализу Всего Примеры обучения: ~50 000 Качество данных: высокое качество, ручная фильтрация и проверка на безопасность — Дедупликация с использованием MinHash — Безопасная фильтрация вредоносного контента — Оценка и фильтрация качества (оценка > 0,7) — Стандартизация формата для шаблона чата — Усечение длины контекста (максимум 4096 токенов) — Вызов функций: поддерживает структурированный вызов функций/инструментов — Выполнение кода: может генерировать и объяснять код на нескольких языках — Многоходовой контекст: поддерживает контекст разговора до 4096 токенов — Поддержка потоковой передачи: совместимость с потоковым выводом — Пакетная обработка: поддержка эффективной пакетной генерации — Пользовательские системные подсказки: гибкая конфигурация системных сообщений 1. Ограничение знаний: данные обучения до апреля 2023 года 2. Галлюцинации: могут генерировать правдоподобную, но неверную информацию 3.…
Модальности:
Генерация текста
Области применения:
Диалог / чат Вызов функций (Tool use)
Задача: Генерация текста
Автор: DeepXR
Теги: llama, conversational, llama-2, autotrain_compatible, function-calling, en, model-index, endpoints_compatible
Лайков: 6 | Загрузок: 2
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
