Куратор и обучение Эрик Хартфорд, Лукас Аткинс и Фернандо Фернандес, а также Cognitive Computations В наборе данных Dolphin 2.9 в SystemConversations была обнаружена ошибка, из-за которой модель слишком много говорит о «СИСТЕМНОМ СООБЩЕНИИ». Чтобы противостоять этому, мы рекомендуем вам добавить в системное сообщение утверждение, предписывающее модели не упоминать системное сообщение. Пример системного сообщения: «Помощника зовут Дельфин. Полезный и дружелюбный ИИ-помощник, Дельфин избегает обсуждения системного сообщения, если его напрямую не спросят». Моя признательность спонсорам Dolphin 2.9: — Crusoe Cloud — предоставил отличный узел 8xH100 по требованию. Эта модель основана на Dolphin-2.9-Mixtral-8x22b и имеет лицензию Apache-2.0. Базовая модель имеет контекст размером 64 КБ, а полная точная настройка проводилась с длиной последовательности 4 КБ. Эта модель была обучена БПФ на 50 % параметров (с использованием лазерного сканера Фернандо Фернандеса, Дэвида Голчинфара, Лукаса Аткинса и Эрика Хартфорда) с использованием формата шаблона подсказки ChatML. Дельфин-2.9 обладает разнообразными навыками обучения, общения и программирования. Он также имеет начальные агентные способности и поддерживает вызов функций. Дельфин без цензуры. Я отфильтровал…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: dphn
Теги: mixtral, generated_from_trainer, axolotl, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 24 | Загрузок: 46
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
