h2o-danube3-500m-base — это фундаментальная модель, обученная H2O.ai с 500 миллионами параметров. Мы выпускаем две версии этой модели: можно запускать на телефонах как в исходном режиме, так и полностью автономно — попробуйте сами с помощью H2O AI Personal GPT. Мы настраиваем архитектуру Llama 2 в общей сложности примерно на 500 м параметров. Подробную информацию можно найти в нашем техническом отчете. Мы используем токенизатор Mistral с размером словаря 32 000 и обучаем нашу модель до длины контекста 8 192. Чтобы использовать модель с библиотекой трансформаторов на машине с графическими процессорами, сначала убедитесь, что у вас установлена библиотека трансформаторов. Вы можете загрузить модели с помощью квантования, указав или . Кроме того, можно выполнить шардинг на нескольких графических процессорах, установив . Пожалуйста, внимательно прочтите этот отказ от ответственности перед использованием большой языковой модели, представленной в этом репозитории. Использование вами модели означает ваше согласие со следующими положениями и условиями. — Предвзятость и оскорбления. Большая языковая модель обучается на широком спектре текстовых интернет-данных, которые могут содержать предвзятый, расистский, оскорбительный или иным образом неприемлемый контент. Используя эту модель, вы признаете и принимаете, что созданный контент иногда может проявлять предвзятость или…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: h2oai
Теги: onnx, llama, gpt, llm, large language model, h2o-llmstudio, en, text-generation-inference
Лайков: 32 | Загрузок: 1,031
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
