LogiLlama — это усовершенствованная языковая модель, разработанная Goppa AI. LogiLlama, созданная на основе 1B-параметров LLaMA, была расширена за счет дополнительных знаний и способностей к логическому рассуждению. Наша миссия — сделать меньшие модели более интеллектуальными, обеспечивая улучшенные возможности рассуждения и решения проблем, сохраняя при этом низкий объем памяти и энергоэффективность для приложений на устройстве. — Тип модели: модель малого языка (SLM), настроенная на основе 1B параметра LLaMA — Архитектура: — Скрытый размер: 2048 — Скрытые слои: 16 — Внимание: 32 — Промежуточный размер: 8192 — Специальная конфигурация: включает настраиваемое масштабирование ROPE (тип веревки: «llama3») — Токенизация: — Пользовательский токенизатор с обширным набором специальных токенов (определенных в Specialtokensmap.json и tokenizerconfig.json) — Язык: английский — Лицензия: Лицензионное соглашение сообщества Llama 3. Репозиторий модели включает несколько ключевых файлов конфигурации, которые обеспечивают бесперебойную работу LogiLlama в экосистеме Hugging Face: — config.json: содержит настройки архитектуры модели, включая скрытый размер, количество слоев, внимание и другие гиперпараметры. — Generationconfig.json: определяет генерацию…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: goppa-ai
Теги: llama, full, generated_from_trainer, nlp, conversational, text-generation-inference, endpoints_compatible
Лайков: 14 | Загрузок: 21
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
