Оригинальная модель weblab-10b-instruction-sft, которая представляет собой японоориентированную многоязычную модель GPT-NeoX с 10 миллиардами параметров, созданную лабораторией Мацуо Такеши Кодзима. Эта модель представляет собой квантованную (миниатюрную) версию оригинальной модели (21,42 ГБ). В настоящее время существуют две известные версии квантования исходной модели. (1) Версия GPTQ (эта модель. 6,3 ГБ). Размер меньше, а скорость выполнения выше, но производительность вывода может быть немного хуже, чем у исходной модели. В настоящее время требуется как минимум один графический процессор из-за ограничений библиотеки Accelerate. Таким образом, эту модель нельзя запустить с бесплатной версией Huggingface Space. Для использования этой модели вам понадобится библиотека autoGPTQ. (2) Версия llama.cpp(gguf)(matsuolab-weblab-10b-instruction-sft-gguf 6,03 ГБ), созданная mmnga. Вы можете использовать модель gguf с llama.cpp на машине только с процессором. Но, возможно, модель gguf немного медленнее, чем модель GPTQ, особенно длинный текст. Вы можете использовать text-generation-webui для быстрого запуска этой модели (около 16 токенов в секунду на моем RTX 3060) на вашем локальном ПК. Объяснение того, как установить text-generation-webui на японском языке, можно найти здесь. Вы можете опробовать эту модель в интерактивном режиме в бесплатной версии Colab.…
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: dahara1
Теги: gpt_neox, ja, text-generation-inference
Лайков: 13 | Загрузок: 198
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
