Веб-сайт Prism ML | Технический документ | Демо и примеры | Блокнот Colab | Сквозная 1-битная языковая модель Discord для llama.cpp (CUDA, Metal, CPU) > в 13,9 раз меньше, чем FP16 | В 3,0 раза быстрее на RTX 4090 | работает на любом устройстве — Развернутый след — работает практически на любом устройстве — Сквозные 1-битные веса для встраивания, проекций внимания, проекций MLP и головы LM — Формат GGUF Q10g128 для 1-битной упаковки весов с общими шкалами для каждой группы (размер группы 128). — Кроссплатформенность: CUDA (RTX/центр обработки данных), Metal (Mac), Swift (iPhone/iPad), Android — Компаньон MLX: также доступен как 1-битный MLX g128 для встроенного вывода Apple Silicon — Google Colab — попробуйте Bonsai в своем браузере, настройка не требуется. присоединяйтесь к сообществу для поддержки, обсуждения и обновлений — 1-битные ядра: вилка llama.cpp (CUDA + Metal) · вилка MLX (Apple Silicon) · вилка mlx-swift (iOS/macOS) — локальный искусственный интеллект — мы сотрудничаем с локальным искусственным интеллектом для поддержки iPhone. Каждый вес представляет собой один бит: 0 карт для масштабирования, 1 карты для…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: prism-ml
Теги: llama.cpp, gguf, 1-bit, llama-cpp, cuda, metal, on-device, prismml
Лайков: 34 | Загрузок: 6,552
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
