Этот репозиторий включает в себя два типа квантованных моделей: GGUF и AWQ для нашей модели Octopus V2 на NexaAIDev/Octopus-v2. Чтобы запустить модели, загрузите их на свой локальный компьютер с помощью git clone или Hugging Face Hub. Поскольку наши модели не были загружены на сервер Ollama, загрузите модели и вручную импортируйте их в Ollama, выполнив следующие действия: 1. Установите Ollama на свой локальный компьютер. Вы также можете следовать руководству из репозитория Ollama GitHub 4. В Modelfile включите оператор FROM с путем к вашей локальной модели и параметрами по умолчанию: Благодарность: Мы искренне благодарим членов нашего сообщества, Мингюань, Зои, Брайана, Перри, Ци, Дэвида, за их выдающийся вклад в эту работу по квантованию.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: NexaAI
Теги: gguf, gemma, function calling, on-device language model, android, conversational, en, text-generation-inference
Лайков: 7 | Загрузок: 1,941
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
