Курируют и обучают Эрик Хартфорд, Лукас Аткинс и Фернандо Фернандес, а также компания Cognitive Computations. Эта модель основана на Dolphin-2.9-Mixtral-8x22b и имеет лицензию Apache-2.0. Базовая модель имеет контекст размером 64 КБ, а полная точная настройка осуществлялась с длиной последовательности 16 КБ. Модель представляет собой эксперт, извлеченный с использованием SLERP и специального сценария, исходный код которого мы открыли. Он извлекает один эксперт, который представляет собой объединенный SLERP всех 8 экспертов архитектуры Mixtral. Мы решили не полностью переходить к плотной модели, чтобы попытаться сохранить как можно большую часть производительности исходной модели, поскольку этот процесс уже достаточно хирургический и необходимо учитывать множество переменных. Дельфин-2.9 обладает разнообразными навыками обучения, общения и программирования. Он также имеет начальные агентные способности и поддерживает вызов функций. Дельфин без цензуры. Мы отфильтровали набор данных, чтобы удалить выравнивание и предвзятость. Это делает модель более совместимой. Прежде чем предоставлять модель как услугу, рекомендуется реализовать собственный уровень выравнивания. Он будет очень услужлив к любым просьбам, даже неэтичным. Пожалуйста, прочитайте мой пост в блоге о моделях без цензуры.…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: dphn
Теги: mixtral, generated_from_trainer, axolotl, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 45 | Загрузок: 9,110
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
