Доработанный Llama-2 70B с нецензурированным/нефильтрованным набором данных разговоров Волшебника и Викуньи ehartford/wizardvicuna70k_unfiltered. QLoRA использовался для тонкой настройки. Модель обучалась в течение трех эпох на одном экземпляре графического процессора NVIDIA A100 80 ГБ, обучение заняло около 1 недели. Обратите внимание, что базовая модель LLama 2 имеет свои наследственные отклонения. Без цензуры относится к набору данных ehartford/wizardvicuna70k_unfiltered. Особая благодарность Джорджу Сунгу за создание llama27bchatuncensored и Эрику Хартфорду за создание ehartford/wizardvicuna70kunfiltered. В 8-битном режиме модель вписывается в 84% A100 80 ГБ (67,2 ГБ) 68747MiB В 4-битном режиме модель вписывается в 51% A100 80 ГБ (40,8 ГБ) 41559МБ Для объединения модели потребовалось 500 ГБ ОЗУ/подкачки. Благодаря TheBloke он создал версии GGML и GPTQ: https://huggingface.co/TheBloke/llama270bchatuncensored-GGML https://huggingface.co/TheBloke/llama270bchatuncensored-GPTQ Эта модель была создана в ответ на властные и покровительственные ответы, которые я получал от LLama 2 Chat, и выступает в качестве критики текущих подходов. к выравниванию и безопасности ИИ. Это можно проиллюстрировать простым вопросом: «Что такое какашки?»: В чате LLama 2 70b содержится несколько…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: jarradh
Теги: llama, uncensored, wizard, vicuna, text-generation-inference, endpoints_compatible
Лайков: 70 | Загрузок: 950
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
