Мы представляем EXAONE 3.5, коллекцию двуязычных (английских и корейских) генеративных моделей с набором параметров от 2,4 до 32 миллиардов, разработанных и выпущенных LG AI Research. Языковые модели EXAONE 3.5 включают: 1) модель 2.4B, оптимизированную для развертывания на небольших устройствах или устройствах с ограниченными ресурсами, 2) модель 7.8B, соответствующую размеру своего предшественника, но предлагающую улучшенную производительность, и 3) модель 32B, обеспечивающую высокую производительность. Все модели поддерживают долгоконтекстную обработку до 32 000 токенов. Каждая модель демонстрирует современную производительность в реальных случаях использования и понимание длительного контекста, оставаясь при этом конкурентоспособной в общих областях по сравнению с недавно выпущенными моделями аналогичных размеров. Более подробную информацию можно найти в нашем техническом отчете, блоге и GitHub. Этот репозиторий содержит квантованные AWQ веса настроенной на инструкции языковой модели 2.4B со следующими характеристиками: — Количество параметров (без вложений): 2.14B — Количество слоев: 30 — Количество заголовков внимания: GQA с 32 Q-головками и 8 KV-головками — Размер словарного запаса: 102 400 — Длина контекста: 32 768 токенов — Квантование: AWQ с 4-битным групповым квантованием только по весу (W4A16g128). Мы рекомендуем…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: LGAI-EXAONE
Теги: exaone, lg-ai, exaone-3.5, conversational, custom_code, en, ko, 4-bit
Лайков: 21 | Загрузок: 286
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
