— Требуется последняя версия мастера + PR по масштабированию веревки. — @ubergarm объяснил, как настроить здесь ваш llama.cpp. — Возможно, он еще не идеален, но, похоже, в основном работает, включая контекст 128k. — Кванты выполняются с использованием матрицы важности для уменьшения потерь при квантовании. — Квантованные ggufs и imatrix от hf bf16 до bf16. savetensors bf16 -> gguf bf16 -> quant для оптимальной потери квантов. — Широкий охват различных типов квантов gguf от Q8 до IQ1_S — Imatrix, созданный с помощью этого многоцелевого набора данных Бартовски. Коллекция многоязычных моделей больших языков (LLM) Meta Llama 3.1 представляет собой коллекцию предварительно обученных и настроенных на инструкции генеративных моделей размером 8B, 70B и 405B (ввод/вывод текста). Модели Llama 3.1, настроенные только на текст (8B, 70B, 405B), оптимизированы для сценариев использования многоязычного диалога и превосходят многие доступные модели с открытым исходным кодом и закрытым чатом по общим отраслевым тестам. Архитектура модели: Llama 3.1 — это авторегрессионная языковая модель, использующая оптимизированную архитектуру преобразователя. В настроенных версиях используется контролируемая точная настройка (SFT) и обучение с подкреплением и обратной связью с человеком (RLHF), чтобы соответствовать человеческим предпочтениям в отношении полезности и безопасности.…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: qwp4w3hyb
Теги: gguf, facebook, meta, llama, llama-3, imatrix, en, de
Лайков: 6 | Загрузок: 180
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
