Сторниитова-8Б — это модель RP/Instruct, построенная на основе Llama-3.1-SuperNova-Lite, которая представляет собой дистиллированную версию параметра 405B Llama-3.1. Меняя только векторные задачи, я пытаюсь сохранить полную дистилляцию 405B при изучении ролевых возможностей. Это объединение предварительно обученных языковых моделей, созданных с помощью mergekit и других собственных инструментов. Эта модель была объединена с использованием метода слияния SLERP, Task_Arithmetic и NEARSWAP. В объединение были включены следующие модели: v000000/L3.1-Niitorm-8B-t0.0001 akjindal53244/Llama-3.1-Storm-8B arcee-ai/Llama-Spark arcee-ai/Llama-3.1-SuperNova-Lite. v000000/L3.1-8B-RP-Test-003-TaskArithmetic Sao10K/L3.1-8B-Niitama-v1.1 + grimjim/Llama-3-Instruct-abliteration-LoRA-8B v000000/L3.1-8B-RP-Test-002-Task_Arithmetic + grimjim/Llama-3-Instruct-abliteration-LoRA-8B Для создания этой модели использовалась следующая конфигурация YAML: Распределение SLERP использовалось для плавного смешивания большей части базы Supernova с векторами ролевой игры:
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: v000000
Теги: llama, mergekit, merge, conversational, model-index, text-generation-inference, endpoints_compatible
Лайков: 7 | Загрузок: 33
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
