Курируют и обучают Эрик Хартфорд, Лукас Аткинс и Фернандо Фернандес, а также компания Cognitive Computations. Мы переобучили нашу точную настройку LLama-3-8b для решения поведенческих проблем в исходном наборе данных 2.9. В частности, Systemchat приводил к тому, что модель слишком зависела от системного приглашения. Кроме того, время от времени происходила странность, из-за которой модель чрезмерно ссылалась на системное приглашение. Мы также обнаружили, что длина генерации иногда недостаточна для какой-либо конкретной задачи. Мы определили виновника как Ultrachat. Учитывая эти опасения, мы удалили системный чат и ультрачат из набора данных. В остальном он идентичен дельфину-2.9. Наша признательность спонсорам Dolphin 2.9.1: — Crusoe Cloud — предоставил отличный узел 8xL40S по требованию. Эта модель основана на Llama-3-8b и регулируется ЛИЦЕНЗИОННЫМ СОГЛАШЕНИЕМ СООБЩЕСТВА META LLAMA 3. Базовая модель имеет контекст 8k, а полная тонкая настройка осуществлялась с длиной последовательности 4k. Эта модель была обучена БПФ по всем параметрам с использованием формата шаблона приглашения ChatML. Dolphin-2.9.1 обладает разнообразными навыками обучения, общения и программирования. Он также имеет начальные агентные способности и поддерживает вызов функций. Дельфин без цензуры. Мы…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: dphn
Теги: llama, generated_from_trainer, axolotl, conversational, text-generation-inference, endpoints_compatible
Лайков: 38 | Загрузок: 8,423
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
