— Требуется последняя версия мастера llama.cpp; — Кванты выполняются с использованием матрицы важности для уменьшения потерь при квантовании — gguf и imatrix, генерируемые из bf16 для «оптимальной» потери точности (некоторые говорят, что это змеиное масло, но это не повредит) — Широкий охват различных типов квантов gguf от Q8 до IQ1_S — Квантование с помощью фиксации llama.cpp 201cc11afa0a1950e1f632390b2ac6c937a0d8f0 — Imatrix, созданный с использованием этого многоцелевого набора данных. Phi-3-Medium-128K-Instruct — это легкая, современная открытая модель с 14B параметрами, обученная с использованием наборов данных Phi-3, которая включает в себя как синтетические данные, так и отфильтрованные данные общедоступных веб-сайтов с упором на высокое качество и обоснование плотных свойств. Модель принадлежит к семейству Phi-3 с версией Medium в двух вариантах: 4 КБ и 128 КБ, что соответствует длине контекста (в токенах), которую она может поддерживать. Модель прошла процесс постобучения, который включает как контролируемую точную настройку, так и прямую оптимизацию предпочтений для следования инструкциям и мер безопасности. При сравнении с тестами, проверяющими здравый смысл, понимание языка, математику, код, длинный контекст и логическое мышление, Phi-3-Medium-128K-Instruct продемонстрировал надежный и…
Модальности:
Генерация текста
Области применения:
Генерация кода Следование инструкциям Диалог / чат Мультиязычность
Задача: Генерация текста
Автор: qwp4w3hyb
Теги: gguf, nlp, code, microsoft, phi, instruct, finetune, imatrix
Лайков: 4 | Загрузок: 284
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
