Проблема с большими языковыми моделями заключается в том, что их невозможно выполнить локально на вашем ноутбуке. Благодаря проекту llama.cpp теперь можно использовать наш Vistral-7B-Chat на одном компьютере (Window или Macbook) даже без выделенного графического процессора. — Создатель модели: Viet Mistral — Исходная модель: Vistral-7B-Chat Этот репозиторий содержит файлы моделей формата GGUF для Vistral-7B-Chat. GGUF — это новый формат, представленный командой llama.cpp 21 августа 2023 года. Он заменяет GGML. GGUF предлагает многочисленные преимущества перед GGML, такие как улучшенная токенизация и поддержка специальных токенов. Он также поддерживает метаданные и предназначен для расширения. Вот несколько клиентов и библиотек, которые поддерживают GGUF: llama.cpp. Исходный проект для GGUF. Предлагает CLI и опцию сервера. text-generation-webui, наиболее широко используемый веб-интерфейс со множеством функций и мощных расширений. Поддерживает ускорение графического процессора. LM Studio — простой в использовании и мощный локальный графический интерфейс для Windows и macOS (Silicon) с ускорением графического процессора. ctransformers, библиотека Python с ускорением графического процессора, поддержкой LangChain и OpenAI-совместимым сервером искусственного интеллекта. Чтобы развернуть Vistral локально в LM Studio, убедитесь, что вы используете указанный…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: uonlp
Теги: gguf, vistral, mistral, uonlp, Viet-Mistral, vi, endpoints_compatible, conversational
Лайков: 16 | Загрузок: 273
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
