Это мета-лама/Llama-3-70B-Instruct с ортогональными весами безопасного тензора bfloat16, сгенерированным с использованием методологии, описанной в предварительном документе/сообщении блога: «Отказ в LLM опосредован одним направлением», который я рекомендую вам прочитать, чтобы понять больше. TL;DR: в этой модели были изменены определенные веса, чтобы «подавить» способность модели выражать отказ. Ни в коем случае не гарантируется, что он не откажет вам, не поймет вашу просьбу, может по-прежнему читать вам лекции об этике/безопасности и т. д. Во всем остальном он настроен так же, как и исходная модель инструкций 70B, только с ортогональным наиболее сильным направлением отказа. В репозиторий я включил отказдир.pth`. Если у вас уже загружена модель Llama-3-70B-Instruct, вы можете использовать кулинарную книгу орто, чтобы применить ее к загруженной модели, что сделает ее такой же, как и та, которую вы скачали отсюда. Эта модель может иметь интересные особенности, поскольку я, очевидно, не тестировал ее тщательно, а методология настолько нова. Я призываю вас поиграть с моделью и публиковать любые особенности, которые вы заметили, на вкладке сообщества, поскольку это поможет нам лучше понять, какие побочные эффекты имеет эта ортогонализация…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: failspy
Теги: llama, conversational, text-generation-inference, endpoints_compatible
Лайков: 127 | Загрузок: 8,780
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
