Курируют и обучают Эрик Хартфорд, Лукас Аткинс и Фернандо Фернандес, а также компания Cognitive Computations. Это наш самый впечатляющий результат за всю историю. БПФ, все параметры, 16 бит. 70,9 ММЛУ на 9б! И это говорит как сон. Хотя максимальное количество позиционных вложений составляет 4 КБ, мы использовали тету веревки 1000000,0 и обучались с длиной последовательности 12 КБ. Мы также планируем потренироваться на следующей версии 32k. Наша признательность спонсорам Dolphin 2.9.1: — Crusoe Cloud — предоставил отличный узел 8xH100 по требованию — OnDemand — предоставил спонсорскую поддержку. Эта модель основана на Yi-1.5-9b и регулируется лицензией Apache 2.0. Базовая модель имеет контекст 4 КБ, но мы использовали тету веревки 1000000,0, а полная настройка проводилась с длиной последовательности 12 КБ. Dolphin-2.9.1 обладает разнообразными навыками обучения, общения и программирования. Он также имеет начальные агентные способности и поддерживает вызов функций. Дельфин без цензуры. Мы отфильтровали набор данных, чтобы удалить выравнивание и предвзятость. Это делает модель более совместимой. Прежде чем предоставлять модель как услугу, рекомендуется реализовать собственный уровень выравнивания. Он будет очень услужлив к любым просьбам, даже неэтичным. Пожалуйста, прочитайте мой блог…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: dphn
Теги: llama, generated_from_trainer, axolotl, conversational, text-generation-inference, endpoints_compatible
Лайков: 25 | Загрузок: 7,658
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
