Чат Это может быть изменено на 4096, если вы хотите попробовать с меньшей длиной последовательности. 4-разрядные модели GPTQ для моделей вывода GPU 2, 3, 4, 5, 6 и 8-разрядных моделей GGML для модели вывода CPU Unquantized SuperHOT fp16 в формате pytorch, для вывода GPU и для дальнейших преобразований Неколичественная базовая модель fp16 в формате pytorch, для вывода GPU и для дальнейших преобразований Затем запустите следующий код. config.json по умолчанию имеет длину последовательности 8192, но вы также можете настроить это в своем коде Python. Предоставленный код моделирования, активированный с помощьюtrustremotecode =True, автоматически установит параметр масштаба из настроенных maxpositionembeddings. Например, для 8192 шкала установлена на 4. В репозитории указан llamaropescaledmonkeypatch.py, написанный @kaiokendev. Это может быть…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: TheBloke
Теги: llama, custom_code, text-generation-inference
Лайков: 3 | Загрузок: 16
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
