> TLDR: Являясь частью OpenChatKit (кодовая база доступна здесь), > Pythia-Chat-Base-7B-v0.16 представляет собой языковую модель с 7B параметрами, точно настроенную на основе Pythia 7B от EleutherAI, с более чем 40 миллионами инструкций для вычислений со 100% углеродно-отрицательным уровнем выбросов. Pythia-Chat-Base-7B-v0.16 основан на модели Pythia-7B от ElutherAI и доработан с использованием данных, ориентированных на взаимодействие в диалоговом стиле. Мы сосредоточили настройку на нескольких задачах, таких как ответы на вопросы, классификация, извлечение и обобщение. Мы доработали модель, используя коллекцию из 43 миллионов высококачественных инструкций. Вместе сотрудничали с LAION и Ontocord.ai, которые помогали курировать набор данных, на котором основана модель. Вы можете прочитать больше об этом процессе и доступности этого набора данных в сообщении в блоге LAION здесь. В дополнение к вышеупомянутой тонкой настройке Pythia-Chat-Base-7B-v0.16 также подвергся дальнейшей тонкой настройке с помощью небольшого количества данных обратной связи. Этот процесс позволяет модели лучше адаптироваться к предпочтениям человека в разговорах. Одной из примечательных особенностей Pythia-Chat-Base-7B-v0.16 является способность выполнять логический вывод на графическом процессоре объемом 12 ГБ благодаря технологии квантования. Это помогает поддерживать возможности диалога, пока…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: togethercomputer
Теги: gpt_neox, en, text-generation-inference, endpoints_compatible
Лайков: 67 | Загрузок: 977
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
