chargoddard/Meta-Llama-3-8B-InitializedEmbeds - Каталог нейросетей
Генерация текста

chargoddard/Meta-Llama-3-8B-InitializedEmbeds

Добавлено:
chargoddard/Meta-Llama-3-8B-InitializedEmbeds

Это просто Лама-3-8Б с вложениями для специальных жетонов, скопированными из версии Instruct. Должно вести себя почти идентично базовой модели, но с меньшей глоссолалией при встречах и тому подобном. Я использую это как основу для точной настройки. Наличие разумных вложений вместо случайной инициализации должно обеспечить более плавный старт. Это объединение предварительно обученных языковых моделей, созданных с помощью mergekit. В объединение были включены следующие модели: NousResearch/Meta-Llama-3-8B-Instruct NousResearch/Meta-Llama-3-8B Для создания этой модели использовалась следующая конфигурация YAML:

Модальности:
Генерация текста

Области применения:
Диалог / чат


Задача: Генерация текста
Автор: chargoddard
Теги: llama, mergekit, merge, conversational, text-generation-inference, endpoints_compatible
Лайков: 7  |  Загрузок: 21

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.