Чат и поддержка: мой новый сервер Discord Хотите внести свой вклад? Страница TheBloke на Patreon Эти файлы представляют собой файлы модели fp16 pytorch для чата Meta’s Llama 2 70B. Они были созданы путем загрузки файлов PTH из Meta и последующего преобразования в формат HF с использованием последней версии Transformers 4.32.0.dev0 из Git, включая Llama 2 PR: https://github.com/huggingface/transformers/pull/24891. Я загружаю этот репозиторий, потому что изначально я пытался создать GPTQ с помощью репозитория Meta Llama 2 70B Chat HF, но получил странные ошибки, которые предполагали неправильные веса. Но преобразование из файлов PTH с использованием последней версии сценария Convertllamaweightstohf.py работало нормально. Большое спасибо Уильяму Бошампу из Chai за предоставление оборудования для квантования! Модели GPTQ для вывода графического процессора с несколькими вариантами параметров квантования. Исходная неквантованная модель fp16 в формате pytorch, для вывода графического процессора и дальнейших преобразований * Мое преобразование fp16 неквантованных файлов модели PTH. Для дальнейшей поддержки и обсуждения этих моделей и искусственного интеллекта в целом присоединяйтесь к нам по адресу: Многие люди спрашивали, могут ли они внести свой вклад. Мне нравится предоставлять модели и помогать людям, и мне бы хотелось иметь возможность…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: TheBloke
Теги: llama, facebook, meta, llama-2, en, text-generation-inference
Лайков: 48 | Загрузок: 137
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
