INF-34B имеет 34 миллиарда параметров с длиной контекстного окна 32 КБ и обучен примерно на 3,5 ТБ хорошо обработанных токенов из двуязычного корпуса английского и китайского языков. По сравнению с моделями с открытым исходным кодом сопоставимого размера, INF-34B не только обеспечивает конкурентоспособные характеристики в оценке OpenCompass, но также обладает впечатляющим потенциалом как в сфере финансов, так и в сфере здравоохранения. Кроме того, квантованный INF-34B работает на видеокартах с 24 ГБ видеопамяти с незначительной потерей точности, что облегчает коммерческое применение, особенно в сценариях с низким уровнем ресурсов. — Подробно для обучения модели GPT: мы предоставляем подробную информацию о предварительном обучении и выравнивании нашей модели, включая высококачественный конвейер данных, подготовку данных инструкций, результаты квантования и т. д. — Превосходная производительность в тестах: мы демонстрируем превосходную производительность моделей INF-34B, сравнивая их с двумя конкурентами с сопоставимым размером модели, Qwen1.5-32B и Yi1.5-34B, в общедоступных тестах OpenCompass. Мы выпускаем базовую и чат-модели с 34B параметрами на основе структуры LLaMA, при этом для стабильности обучения используем LayerNorm с гаммой с нулевым центром вместо RMSNorm. Обратите внимание, что вы можете воспользоваться нашим…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: infly
Теги: inflm, conversational, custom_code
Лайков: 7 | Загрузок: 10
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
