Еще одна экспериментальная модель, использующая в основном синтетические данные, сгенерированные airoboros. Это точная настройка модели falcon-180b, увеличенная до контекста 4K с помощью масштабирования веревки, в наборе данных airoboros-2.2.1. Базовая модель имеет специальную лицензию: https://huggingface.co/tiiuae/falcon-180B/raw/main/LICENSE.txt Квантование Q40, скорее всего, не будет работать. из-за квантованного/неквантованного (рекомендуемого) метода слияния!*__ Это модель довольно общего назначения, но она в значительной степени ориентирована на следование инструкциям, а не на случайное общение или ролевую игру. Огромное спасибо ребятам из a16z за оплату расходов, связанных с созданием моделей и сопутствующих инструментов! Системная подсказка по умолчанию («Чат.») использовалась для большинства подсказок, однако она также включала широкую выборку ответов с другими подсказками, особенно в «stylized_response», «rp», «gtkm» и т. д. И сценарий чата, который не требует ПОЛЬЗОВАТЕЛЯ/ПОМОЩНИКА (но должен использовать критерии остановки, чтобы модель не могла говорить от вашего имени). Я настоятельно рекомендую добавить критерии остановки/остановку раннего вывода на «USER:» и/или любые имена, которые вы указываете в системном приглашении.…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: jondurbin
Теги: falcon, text-generation-inference, endpoints_compatible
Лайков: 17 | Загрузок: 240
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
