h2o-danube3.1-4b-chat — это усовершенствованная модель чата от H2O.ai с 4 миллиардами параметров. Эта модель была обучена с помощью H2O LLM Studio. — Базовая модель: h2oai/h2o-danube3-4b-chat. Может работать в автономном режиме на телефонах. Попробуйте сами с помощью H2O AI Personal GPT. Мы корректируем архитектуру Llama 2 в общей сложности примерно по 4b параметрам. Подробную информацию можно найти в нашем техническом отчете. Мы используем токенизатор Mistral с размером словаря 32 000 и обучаем нашу модель до длины контекста 8 192. Чтобы использовать модель с библиотекой трансформаторов на машине с графическими процессорами, сначала убедитесь, что у вас установлена библиотека трансформаторов. Вы можете распечатать образец приглашения после применения шаблона чата, чтобы увидеть, как он передается в токенизатор: вы также можете самостоятельно построить конвейер из загруженной модели и токенизатора и рассмотреть этапы предварительной обработки: вы можете загрузить модели с использованием квантования, указав или . Кроме того, можно выполнить шардинг на нескольких графических процессорах, установив . Пожалуйста, внимательно прочтите этот отказ от ответственности перед использованием большой языковой модели, представленной в этом репозитории. Использование вами модели означает ваше согласие со следующими положениями и условиями. — Предвзятость и обидчивость: большая…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: h2oai
Теги: llama, gpt, llm, large language model, h2o-llmstudio, conversational, en, text-generation-inference
Лайков: 5 | Загрузок: 63
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
