— HF: wolfram/miquliz-120b-v2.0 — GGUF: Q2K | IQ3XXS | Q4KM | Q5KM — IQ2XS Dranger003 | IQ2XXS | IQ3XXS | Q80 — IQ2XS от KnutJaegersberg — i1-IQ1S от mradermacher — i1-Q5KM — Q2K от mradermacher — Q80 — EXL2: 2.4bpw | 2,65 bpw | 3.0bpw | 3,5 bpw | 4.0bpw | 5,0 бит в минуту — максимальный контекст с 48 ГБ видеопамяти: (24 ГБ видеопамяти недостаточно даже для 2,4 бит в минуту, вместо этого используйте GGUF!) — 2,4 бит в минуту: 32 КБ (32768 токенов) с 8-битным кэшем, 21 КБ (21 504 токена) без 8-битного кэша — 2,65 бит в минуту: 30 КБ (30720 токенов) с 8-битным кешем, 15 КБ (15360 токенов) без 8-битного кеша — 3,0 бита в минуту: 12 КБ (12288 токенов) с 8-битным кешем, 6 КБ (6144 токенов) без 8-битного кеша. Это версия 2.0 слияния 120 бит, созданного путем чередования слоев miqu-1-70b-sf с lzlv70bfp16_hf с использованием mergekit. Лучше, чем версия 1.0, благодаря улучшенному рецепту, адаптированному Эриком Хартфордом из TheProfessor-155b, теперь он достигает высшего рейтинга с двойными высшими баллами в моих сравнениях/тестах LLM. Спасибо за поддержку, CopilotKit — платформа с открытым исходным кодом для встраивания AI Copilots в любой продукт с любой моделью LLM. Посетите их GitHub. Спасибо за дополнительных квантов: DAN™, Кнута Егерсберга и Михаэля Радермахера! См. также: 🐺🐦⬛ Сравнение/тест форматов подсказок LLM: Mixtral 8x7B…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: wolfram
Теги: llama, mergekit, merge, conversational, en, de, fr, es
Лайков: 7 | Загрузок: 5
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
