Модель создается путем доработки базовой модели RedPajama на основе snorkelai/snorkel-curated-instruction-tuning для дальнейшего улучшения способности вести чат с помощью высококачественных пар «инструкция — ответ». Чтобы получить более полное представление о нашей методологии, посетите наш блог — Как мы создали более эффективный генеративный ИИ с помощью программной разработки данных. — Версия, оптимизированная для чата: snorkelai/RedPajama-7B-Chat-Curated — Набор данных для настройки инструкций: snorkelai/snorkel-curated-instruction-tuning — Базовая модель: RedPajama-INCITE-7B-Base — Разработчик: Snorkel AI. — Тип модели: языковая модель — Язык(и): английский — Лицензия: Apache 2.0 — Описание модели: предварительно обученная языковая модель с 6,9 млрд параметров. Обратите внимание, что для модели требуется библиотека transformers версии >= 4.25.1. Для выполнения вывода на GPU в формате Int8 или вывода на CPU см. документацию togethercomputer/RedPajama-INCITE-7B-Chat. См. snorkelai/snorkel-curated-instruction-tuning — Оборудование: 8 A100 — Оптимизатор: Adam — Накопления градиентов: 1 — Количество токенов: 3,8 млн токенов — Скорость обучения: 1e-5 — Размер пакета: 64 Авторское право (2023) Snorkel AI, Inc. Эта модель была разработана в Snorkel AI, и ее использование регулируется лицензией Apache 2.0. Эта работа…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: snorkelai
Теги: gpt_neox, en, text-generation-inference, endpoints_compatible
Лайков: 2 | Загрузок: 87
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
