Мы представляем EXAONE 3.5, коллекцию двуязычных (английских и корейских) генеративных моделей с набором параметров от 2,4 до 32 миллиардов, разработанных и выпущенных LG AI Research. Языковые модели EXAONE 3.5 включают: 1) модель 2.4B, оптимизированную для развертывания на небольших устройствах или устройствах с ограниченными ресурсами, 2) модель 7.8B, соответствующую размеру своего предшественника, но предлагающую улучшенную производительность, и 3) модель 32B, обеспечивающую высокую производительность. Все модели поддерживают долгоконтекстную обработку до 32 000 токенов. Каждая модель демонстрирует современную производительность в реальных случаях использования и понимание длительного контекста, оставаясь при этом конкурентоспособной в общих областях по сравнению с недавно выпущенными моделями аналогичных размеров. Более подробную информацию можно найти в нашем техническом отчете, блоге и GitHub. Этот репозиторий содержит различные версии настроенной на инструкции языковой модели 7.8B в формате GGUF, которая содержит следующие функции: — Количество параметров (без вложений): 6,98B — Количество слоев: 32 — Количество заголовков внимания: GQA с 32 Q-головками и 8 KV-головками — Размер словарного запаса: 102400 — Длина контекста: 32 768 токенов — Квантование: Q80, Q60, Q5KM, Q4KM, IQ4XS в формате GGUF (также…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: LGAI-EXAONE
Теги: gguf, lg-ai, exaone, exaone-3.5, en, ko, endpoints_compatible, conversational
Лайков: 37 | Загрузок: 880
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
