Мы представляем EXAONE 3.5, коллекцию двуязычных (английских и корейских) генеративных моделей с набором параметров от 2,4 до 32 миллиардов, разработанных и выпущенных LG AI Research. Языковые модели EXAONE 3.5 включают: 1) модель 2.4B, оптимизированную для развертывания на небольших устройствах или устройствах с ограниченными ресурсами, 2) модель 7.8B, соответствующую размеру своего предшественника, но предлагающую улучшенную производительность, и 3) модель 32B, обеспечивающую высокую производительность. Все модели поддерживают долгоконтекстную обработку до 32 000 токенов. Каждая модель демонстрирует современную производительность в реальных случаях использования и понимание длительного контекста, оставаясь при этом конкурентоспособной в общих областях по сравнению с недавно выпущенными моделями аналогичных размеров. Более подробную информацию можно найти в нашем техническом отчете, блоге и GitHub. Этот репозиторий содержит настроенную на инструкции языковую модель 32B со следующими функциями: — Количество параметров (без вложений): 30,95B — Количество слоев: 64 — Количество головок внимания: GQA с 40 головками Q и 8 головками KV — Размер словарного запаса: 102 400 — Длина контекста: 32 768 токенов Вот фрагмент кода для запуска диалогового вывода с помощью модель: > ### Примечание > Инструкция EXAONE 3.5 настроена…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: LGAI-EXAONE
Теги: exaone, lg-ai, exaone-3.5, conversational, custom_code, en, ko
Лайков: 128 | Загрузок: 14,813
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
