Это экспериментальное объединение предварительно обученных языковых моделей, созданных с помощью mergekit. В слияние были включены следующие модели: OpenPipe/mistral-ft-optimized-1227 DiscoResearch/DiscoLM German7b_v1 Поскольку обе используемые модели, насколько мне известно, являются двумя лучшими моделями с точки зрения генерации немецкого языка. DiscoLM German 7B на сегодняшний день (21.01.2024) является безусловно лучшей немецкой моделью и допускает гораздо меньше грамматических ошибок, а его немецкий язык в целом звучит хорошо. Но он настраивается на Mistral V0.2 или даже V0.1. Mistral FT Optimized 1227 гораздо лучше говорит по-немецки, чем Mistral 7B V0.2 и другие немецкие модели с тонкой настройкой, которые допускают грамматические ошибки почти в каждом предложении. Но даже эта модель является хорошим шагом после DiscoLM German 7B и создает не так хорошо сформированные немецкие предложения. Скрытым мотивом теперь было объединение этих двух моделей, чтобы получить еще лучшую немецкую модель, особенно для немецких ролевых игр. Для создания этой модели использовалась следующая конфигурация YAML: Эти настройки взяты из модели oshizo/japanese-e5-mistral-7b_slerp.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Blizado
Теги: mistral, mergekit, merge, german, deutsch, english, roleplay, chatml
Лайков: 4 | Загрузок: 17
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
