Это квантованная версия Failspy/Phi-3-mini-128k-instruct-abliterated-v3, созданная с использованием llama.cpp. Мою «поваренную книгу» Jupyter для репликации методологии можно найти здесь, скоро появится улучшенная библиотека. Мне потребовалось некоторое время, чтобы создать ее. Давненько я не выпускал модель Phi-3. Раньше я случайно пропустил элемент, необходимый в процессе выпуска модели — тестирование галлюцинаций. Эта модель была протестирована, и, хотя, по моему опыту, у нее больше шансов вызвать галлюцинации, чем у оригинальной модели, в целом она так же стабильна, как и оригинал. Теперь, когда вышли новые модели Фи-3, я работаю над быстрым завершением процесса удаления, а затем выпущу другие модели как можно скорее. 🏇 Это инструкция microsoft/Phi-3-mini-128k-instruct с ортогональными весами безопасного тензора bfloat16, созданная с использованием усовершенствованной методологии, основанной на том, что было описано в предварительном документе/сообщении блога: «Отказ в LLM опосредован одним направлением», который я рекомендую вам прочитать, чтобы понять больше. TL;DR: В этой модели были изменены определенные веса, чтобы «подавить» способность модели выражать отказ. Ни в коем случае не гарантируется, что он вам не откажет, поймет вашу просьбу,…
Модальности:
Генерация текста
Области применения:
Генерация кода Диалог / чат Мультиязычность Следование инструкциям
Задача: Генерация текста
Автор: QuantFactory
Теги: gguf, nlp, code, multilingual, endpoints_compatible, conversational
Лайков: 5 | Загрузок: 177
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
