Пользовательская модель «Dolphin2Star1», объединенная Noodlz. 12.5B Linear объединяется из Mistral 7B v0.2 без цензуры в качестве основы с тонкими настройками StarlingLM 7B Beta, которая изначально была Mistral 7B v0.1 [EDIT] — с предустановленными настройками, похоже, ему нравится формат «ChatML». [EDIT 2] — Замечания по использованию — модель довольно разборчива в отношении размера партии и предустановки/шаблона подсказки. (возможно, из-за слияния моделей ChatML и OpenChat). Мои текущие рекомендуемые настройки и выводы — Использование LM Studio — используйте предустановку по умолчанию. Ускорение графического процессора до макс. подскажите размер eval до 1024, длину контекста до 32768. Это дает мне достойные, последовательные результаты. ChatML тоже работает, но иногда после пары ходов выдает странные тексты. — Использование Oobabooga (ПК с Windows) — хорошо работает при использовании run-in-4bit вместе с useflashattention_2. настройки по умолчанию и все работает нормально. — Использование OobaBooga (Mac) — [расследование] Это объединение предварительно обученных языковых моделей, созданных с помощью mergekit. В объединение были включены следующие модели: Cognitivecomputations/dolphin-2.8-mistral-7b-v02 NexusFlow/Starling-LM-7B-beta Для создания этой модели использовалась следующая конфигурация YAML:
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Noodlz
Теги: mistral, conversational, text-generation-inference, endpoints_compatible
Лайков: 4 | Загрузок: 17
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
