> [!ВАЖНО] > Этот репозиторий представляет собой созданную сообществом квантованную версию исходной модели google/gemma-2-9b-it, которая представляет собой официальную версию BF16 с половинной точностью, выпущенную Google. > [!WARNING] > Эта модель была квантована с использованием преобразователей 4.45.0, а это означает, что токенизатор, доступный в этом репозитории, не будет совместим с более ранними версиями. То же самое относится, например, к Вывод генерации текста (TGI), который устанавливает только преобразователи версии 4.45.0 или выше, начиная с версии 2.3.1. Gemma — это семейство легких современных открытых моделей от Google, созданных на основе тех же исследований и технологий, которые использовались при создании моделей Gemini. Это большие языковые модели для преобразования текста в текст, предназначенные только для декодера, доступные на английском языке, с открытыми весами как для предварительно обученных вариантов, так и для вариантов, настроенных с помощью инструкций. Модели Gemma хорошо подходят для различных задач по созданию текста, включая ответы на вопросы, обобщение и рассуждения. Их относительно небольшой размер позволяет развертывать их в средах с ограниченными ресурсами, таких как ноутбук, настольный компьютер или собственная облачная инфраструктура, демократизируя доступ к современным моделям искусственного интеллекта и помогая стимулировать инновации для всех. Это хранилище…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: hugging-quants
Теги: gemma2, google, autoawq, conversational, en, text-generation-inference, endpoints_compatible, 4-bit
Лайков: 9 | Загрузок: 4,354
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
