News Reporter 3B LLM основан на Phi-3 Mini-4K Instruct, модели преобразователя с плотным декодированием, предназначенной для генерации высококачественного текста на основе подсказок пользователя. Имея 3,8 миллиарда параметров, модель точно настраивается с помощью контролируемой точной настройки (SFT) для соответствия человеческим предпочтениям и парам вопросов и ответов. Мы оценили несколько готовых моделей, включая Gemma-7B, Gemma-2B, Llama-3-8B и Phi-3-mini-4K, и обнаружили, что модель Phi-3-mini-4K в целом показала лучшие результаты для нашего оценочного набора. Эта модель превосходно понимает многоязычные запросы и генерирует ответы благодаря 3,8 миллиардам параметров и длине контекстного окна 4096. Обученный с использованием более 3,3 триллионов токенов, Phi-3-mini-4K выделяется своей способностью квантоваться до 4 бит, что позволяет сократить объем памяти примерно до 1,8 ГБ. Он обрабатывает от 8 до 12 токенов в секунду на одном графическом процессоре T4, требуя всего 3–4 ГБ видеопамяти для вывода. — Количество параметров: 3,8 миллиарда. — Архитектура: плотный преобразователь только для декодера. — Длина контекста: поддерживает до 4000 токенов. — Данные обучения: более 43,5 тысяч пар вопросов и ответов, подобранных из разных новостных каналов.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: RedHenLabs
Теги: phi3, conversational, custom_code, en, text-generation-inference, endpoints_compatible
Лайков: 4 | Загрузок: 9
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
