Квантование GGUF Himalaya-ai/himalayagpt-0.5b-it, выполненное командой Himalaya AI. Все сведения о самой модели — архитектуре, обучении, предполагаемом использовании, ограничениях, языках — см. на карточке базовой модели. На этой странице документируется только квантование. Эти GGUF не запускаются на восходящем сервере ggml-org/llama.cpp. Nanochat не является поддерживаемой исходной архитектурой — vanilla llama.cpp отклонит файл с моделью NanochatForCausalLM, которая не поддерживается». LM Studio, Ollama, Open WebUI и другие пользовательские интерфейсы, входящие в состав vanilla llama.cpp, не будут работать до тех пор, пока исходная версия не предоставит поддержку nanochat. > Не стройте GGUF F16. MLP в квадрате ReLU модели выходит за пределы диапазона F16 ±65504 и дает логиты NaN. BF16 имеет тот же размер на диске, что и динамический диапазон F32 — используйте его. Шаблон чата (……) и токен EOT встроены в метаданные GGUF. Поддерживаются системные сообщения в стиле OpenAI, которые объединяются при следующем ходе пользователя (через пустую строку). Роли инструмента/разработчика отображаются как пользовательский контент. Встроенный шаблон также удаляет 9 литеральных строк токена управления nanochat из содержимого сообщения, чтобы предотвратить внедрение подсказки — если вам нужен литерал ` в пользовательском вводе, он не сохранится в отображаемом приглашении…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: himalaya-ai
Теги: gguf, llama-cpp, nanochat, requires-fork, quantized, en, ne, hi
Лайков: 5 | Загрузок: 205
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
