Курируют и обучают Эрик Хартфорд, Лукас Аткинс, Фернандо Фернандес, при поддержке сообщества Cognitive Computations. Без цензуры FailSpy Наша признательность спонсорам Dolphin 2.9: — Crusoe Cloud — предоставил превосходный 8xL40Snode по требованию. Эта модель использует репликацию слоев PEFT во время вывода для дублирования слоев и увеличения количества параметров. Это работает как с объединенной моделью, которая поставляется с этим репозиторием, так и с подключенным адаптером. Производительность будет одинаковой при использовании обоих методов, но использование видеопамяти при использовании адаптера будет значительно меньше. Эта модель была инициализирована с использованием Mistralfied Phi-3-Instruct-4k от Unsloth. Если вы решите использовать метод адаптера, прикрепите его к своей модели. Эта модель основана на Phi-3-Mini-Instruct-4k и регулируется лицензией MIT, по которой Microsoft выпустила Phi-3. Базовая модель имеет контекст 4 КБ, а точная настройка qLoRA осуществлялась с длиной последовательности 4 КБ. Затем веса модели были скорректированы для устранения и предотвращения отказов на основе методологии, описанной в разделе «Отказ в LLM опосредован одним направлением». Это эффективно устраняет цензуру модели, одновременно сводя к минимуму влияние на другие функции модели.…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: dphn
Теги: mistral, en, text-generation-inference, endpoints_compatible
Лайков: 10 | Загрузок: 16
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
