Один из них уже есть по адресу https://huggingface.co/TheBloke/vicuna-13B-1.1-GPTQ-4bit-128g, но ни одна из загруженных ими версий не работает с некоторыми более старыми версиями GPTQ-for-LLaMA (например, с форком 0cc4m, который используется с их форком KoboldAI).
Модальности:
Генерация текста
Задача: Генерация текста
Автор: 4bit
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 4 | Загрузок: 7
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
Это просто Лама-3-8Б с вложениями для специальных жетонов, скопированными из версии Instruct. Должно вести себя почти идентично базовой...
Проблема с большими языковыми моделями заключается в том, что их невозможно выполнить локально на вашем ноутбуке. Благодаря проекту...
Предыдущее имя было WhiteSnake-V2, но оценки были плохими, поэтому я решил переименовать его. Очень хорош в творческом письме...
Продолжающаяся экспериментальная предварительная подготовка Gemma-2-9B-It-SPPO-Iter3 на различных данных коротких рассказов из Интернета. Я пытался разнообразить прозу Джеммы, не...
