q80, q6k, q5km, q4km и q3km кванты GGUF третьего пути/Orca-2-13b-Alpaca-Uncensored. Эта модель представляет собой доработанную версию microsoft/Orca-2-13b на подмножестве набора данных Vezora/MiniOrcaUncencored_Alpaca, скорректированную для демонстрации взаимосвязи между инструкциями и входными данными, с добавлением некоторых особенно пикантных подсказок, чтобы снизить риск отклонения. Были выбраны только модули qproj и kproj, и был использован низкий ранг (8) в надежде внести коррективы в формат подсказки и выравнивание. На бумаге это многообещающе, поскольку усреднение потерь на каждом шаге обучения оставалось стабильным (для модели 13b), и я считаю это успехом. Производительность немного хуже, чем у OG Orca-2 в режиме чата Ooba, сравнима в режиме чата с инструкциями Alpaca с OG в режиме чата с инструкциями ChatLM. Может по-прежнему отвергать некоторые шокирующие подсказки, но его легко преодолеть с помощью авторской заметки или карточки персонажа.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: athirdpath
Теги: en
Лайков: 7 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
