Этот репозиторий содержит квантованные GGUF версии Lizzy 7B, языковой модели с улучшенными рассуждениями от Flower Labs с британскими знаниями и улучшениями поведения. Lizzy 7B — это модель рассуждения, в которой используются жетоны мышления. Вы увидите следующий результат: Это ожидаемое поведение — префикс > указывает на процесс рассуждения модели перед предоставлением окончательного ответа. В следующих разделах представлена подробная документация по использованию моделей Lizzy 7B GGUF. — База: Lizzy 7B — Слои: 32 (с постнормальной архитектурой) — Скрытый размер: 4096 — Внимание: скользящее окно (4096) + полное внимание — RoPE: масштабирование YaRN (коэффициент = 8,0, исходное = 8192) — Словарь: 100 278 токенов — Контекст: 65 536 токенов — Тензоры: 355 (включая attnpostnorm и ffnpostnorm) Используйте GGUF, когда: — ✅ Вам нужен вывод ЦП — ✅ Вам нужна гибкая разгрузка графического процессора — ✅ Вам нужен меньший размер модели — ✅ Вы используете экосистему llama.cpp — ✅ Вам нужно быстрое время загрузки Используйте оригинальные Safetensor, когда: — ✅ Вам нужна полная точность (BF16) — ✅ Вы используете трансформаторы/vLLM — ✅ Вам нужен тензорный параллелизм — ✅ Вы настраиваете модель Эти модели GGUF являются производными от Lizzy 7B. Пожалуйста, обратитесь к лицензии на базовую модель для распространения…
Модальности:
Генерация текста
Области применения:
Логика и рассуждение Диалог / чат
Задача: Генерация текста
Автор: flwrlabs
Теги: llama-cpp-python, gguf, lizzy-7b, reasoning, flwrlabs, british-english, endpoints_compatible, conversational
Лайков: 7 | Загрузок: 97
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
