Чат 4-битные модели GPTQ для вывода на GPU 2-, 3-, 4-, 5-, 6- и 8-битные модели GGML для вывода на CPU Неквантованная модель SuperHOT fp16 в формате Pytorch для вывода на GPU и дальнейших преобразований Неквантованная базовая модель fp16 в формате Pytorch для вывода на GPU и дальнейших преобразований Затем выполните следующий код. В файле config.json по умолчанию установлена длина последовательности 8192, но вы также можете настроить ее в своем коде Python. Предоставленный код моделирования, активируемый с помощью параметра trustremotecode=True, автоматически устанавливает параметр масштабирования на основе настроенных значений maxpositionembeddings. Например, для 8192 масштаб устанавливается на 4. В репозитории представлен файл llamaropescaledmonkeypatch.py, написанный @kaiokendev. Теоретически его можно добавить в любой пользовательский интерфейс Python…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: TheBloke
Теги: llama, custom_code, text-generation-inference
Лайков: 2 | Загрузок: 8
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
