Mozilla упаковала модели Qwen 3 в исполняемые файлы, которые мы называем llamafiles. Это дает вам самый простой и быстрый способ использовать модель в системах Linux, MacOS, Windows, FreeBSD, OpenBSD и NetBSD, которыми вы управляете как на AMD64, так и на ARM64. Для начала вам потребуются гири Qwen 3 и программное обеспечение llamafile. Оба они включены в один файл, который можно загрузить и запустить следующим образом: Режимом работы по умолчанию для этих llamafiles является наш новый интерфейс чат-бота из командной строки. Вы можете использовать тройные кавычки, чтобы задавать вопросы в несколько строк. Вы можете передавать такие команды, как /stats и /context, чтобы просмотреть информацию о состоянии времени выполнения. Вы можете изменить системное приглашение, передав флаг -p «новое системное приглашение». Вы можете нажать CTRL-C, чтобы прервать модель. Наконец, для выхода можно использовать CTRL-D. Если вы предпочитаете использовать веб-интерфейс, то предусмотрен режим —server, который откроет вкладку с чат-ботом и интерфейсом завершения в вашем браузере. Для получения дополнительной информации о том, как его можно использовать, передайте флаг —help. Сервер также имеет конечную точку завершения, совместимую с OpenAI API, доступ к которой можно получить через Python с помощью пакета openai pip. Предусмотрен расширенный режим CLI, полезный для оболочки…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: mozilla-ai
Теги: llamafile, chat
Лайков: 7 | Загрузок: 41
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
