— HF: wolfram/miquliz-120b-v2.0 — GGUF: Q2K | IQ3XXS | Q4KM | Q5KM — IQ2XS Dranger003 | IQ2XXS | IQ3XXS | Q80 – IQ2XS от KnutJaegersberg – i1-IQ1S от mradermacher – i1-Q5KM – Q2K от mradermacher – Q80 – EXL2: 2.4bpw | 2,65 bpw | 3.0bpw | 3,5 bpw | 4.0bpw | 5,0 бит в минуту — максимальный контекст с 48 ГБ видеопамяти: (24 ГБ видеопамяти недостаточно даже для 2,4 бит в минуту, вместо этого используйте GGUF!) — 2,4 бит в минуту: 32 КБ (32768 токенов) с 8-битным кэшем, 21 КБ (21 504 токена) без 8-битного кэша — 2,65 бит в минуту: 30 КБ (30720 токенов) с 8-битным кешем, 15 КБ (15 360 токенов) без 8-битного кеша — 3.0bpw: 12 КБ (12 288 токенов) с 8-битным кешем, 6 КБ (6 144 токенов) без 8-битного кеша miqu-1-70b-sf с lzlv70bfp16_hf с использованием mergekit. Лучше, чем версия 1.0, благодаря улучшенному рецепту, адаптированному Эриком Хартфордом из TheProfessor-155b, теперь он достигает высшего рейтинга с двойными высшими баллами в моих сравнениях/тестах LLM. Спасибо за поддержку, CopilotKit — платформа с открытым исходным кодом для встраивания AI Copilots в любой продукт с любой моделью LLM. Посетите их GitHub. Спасибо за дополнительных квантов: DAN™, Кнута Егерсберга и Михаэля Радермахера! См. также: 🐺🐦⬛ Сравнение/тест формата подсказки LLM: Mixtral 8x7B…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: wolfram
Теги: llama, mergekit, merge, conversational, en, de, fr, es
Лайков: 4 | Загрузок: 6
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
