Требования к оборудованию для скорости вывода уровня ChatGPT GPT-4o для моделей в этом репозитории: >=24 ГБ видеопамяти. Пример сложного сценария отладки: вы создаете библиотеку A поверх библиотеки B, для которой в качестве зависимости требуется библиотека C, но основной причиной была переменная в библиотеке C. В этом случае следующий рабочий процесс помог мне правильно определить проблему. IQ здесь относится к квантованию матрицы важности. Для сравнения производительности с обычным GGUF прочитайте этот пост на Reddit. Дополнительную информацию об этой технике можно найти в обсуждении на GitHub. Оценивалось по двум задачам программирования: отладка и генерация. Это может быть немного субъективно. DeepSeekV2 Coder Instruct имеет более низкий рейтинг, поскольку в Политике конфиденциальности DeepSeek говорится, что они могут собирать «текстовый ввод, подсказку», и обойти это невозможно. Другие варианты температуры, топка и топпа тоже тестировались по 5-8 раз для каждой модели, но я придерживаюсь трех вышеуказанных. Следующие действия проверены в моем рабочем процессе, но могут не подходить для других рабочих процессов. — В общем, если в коде есть ошибка, скопируйте и вставьте последние несколько строк stacktrace (без библиотеки stacktrace) в LLM, похоже, работает. — Добавление «Отражение». после…
Модальности:
Генерация текста
Области применения:
Генерация кода Диалог / чат
Задача: Генерация текста
Автор: FredZhang7
Теги: gguf, code, generation, debugging, editing, endpoints_compatible, imatrix, conversational
Лайков: 8 | Загрузок: 164
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
