Этот репозиторий содержит веса для BitNet b1.58 2B4T, первой собственной 1-битной модели большого языка (LLM) с открытым исходным кодом в масштабе параметров 2 миллиарда, разработанной Microsoft Research. Эта модель, обученная на корпусе из 4 триллионов токенов, демонстрирует, что собственные 1-битные LLM могут достигать производительности, сравнимой с ведущими открытыми моделями полной точности аналогичного размера, предлагая при этом существенные преимущества в вычислительной эффективности (память, энергия, задержка). На Hugging Face доступно несколько версий весов модели: microsoft/bitnet-b1.58-2B-4T (этот репозиторий): содержит упакованные 1,58-битные веса, оптимизированные для эффективного вывода. Используйте это для развертывания.** microsoft/bitnet-b1.58-2B-4T-bf16: содержит основные веса в формате BF16. Используйте это только в целях обучения или точной настройки.** microsoft/bitnet-b1.58-2B-4T-gguf: Содержит веса модели в формате GGUF, совместимом с библиотекой bitnet.cpp` для вывода ЦП. Архитектура: на основе преобразователя, модифицированная слоями BitLinear (инфраструктура BitNet). Использует встраивание вращающихся позиций (RoPE). Использует активацию ReLU (ReLU²) в квадрате в слоях FFN. Использует нормализацию subln. Никаких предвзятых условий в линейном или…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: microsoft
Теги: bitnet, chat, large-language-model, conversational, custom_code, en, endpoints_compatible
Лайков: 1,315 | Загрузок: 16,106
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
