granite-3.3-8b-instruct-FP8
> [!NOTE] > This repository contains the FP8 version of Granite-3.3-8b-Instruct. > > Please reference the base model’s...
> [!NOTE] > This repository contains the FP8 version of Granite-3.3-8b-Instruct. > > Please reference the base model’s...
> [!NOTE] > This repository contains models that have been converted to the GGUF format with various quantizations...
👾 LM Studio Community models highlights program. Highlighting new & noteworthy models by the community. Join the conversation...
Original model: https://huggingface.co/ibm-granite/granite-3.3-8b-instruct Run them directly with llama.cpp, or any other llama.cpp based project Some of these quants...
This model mlx-community/granite-3.3-8b-instruct-fp16 was converted to MLX format from ibm-granite/granite-3.3-8b-instruct using mlx-lm version 0.22.5. Модальности:Генерация текста Области применения:Диалог...
Наш новейший метод квантования представляет собой высокоточное адаптивное квантование для моделей со сверхмалой разрядностью (1–2 бита) с проверенными...
Исходная модель: https://huggingface.co/ibm-granite/granite-3.3-2b-instruct. Запускайте их напрямую с помощью llama.cpp или любого другого проекта на основе llama.cpp. Некоторые из...
Краткое описание модели: Granite-3.3-8B-Instruct — это языковая модель с 8 миллиардами параметров и длиной контекста 128 КБ, настроенная...
> [!NOTE] > Этот репозиторий содержит модели, преобразованные в формат GGUF с использованием различных квантований из базовой модели...
Granite-3.3-2B-Base — это языковая модель, предназначенная только для декодера, с контекстным окном токена размером 128 КБ. Он совершенствует...