srinivasbilla/tinymix-8x1b-chat

Это MoE-ификация TinyLlama/TinyLlama-1.1B-Chat-v1.0 с использованием ветки Mixtral mergekit. Целью было протестировать MoE модели TinyLlama и затем использовать ее в качестве базовой модели для точной настройки. Интуитивно понятно, что точная настройка 8x1b должна дать лучшую производительность, чем точная настройка 1b сама по себе.

Модальности:
Генерация текста

Области применения:
Диалог / чат

Задача: Генерация текста
Автор: srinivasbilla
Теги: mixtral, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 44 | Загрузок: 8

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.

Похожие модели (Генерация текста)

Генерация текста

chujiezheng/Llama-3-Instruct-8B-SimPO-ExPO

Экстраполированная модель (ExPO) основана на Princeton-nlp/Llama-3-Instruct-8B-SimPO и metal-llama/Meta-Llama-3-8B-Instruct, как описано в статье «Экстраполяция от слабого к сильному ускоряет...

Генерация текста

legraphista/Llama-3.1-Minitron-4B-Width-Base-GGUF

Статическое квантование Llama.cpp nvidia/Llama-3.1-Minitron-4B-Width-Base Исходная модель: nvidia/Llama-3.1-Minitron-4B-Width-Base Исходный тип dtype: BF16 (bfloat16) Квантование: llama.cpp b3600 Набор данных IMatrix:...

Генерация текста

DataPilot/ArrowPro-7B-KUJIRA

ArrowPro-7B-KUJIRAはMistral系のNTQAI/chatntq-ja-7b-v1.0をベースにAIt uber、AIアシスタントの魂となるようにЧат 性能、および高いプロンプトインジェクション耐性を重視して作られました。 ArrowPro-7B-KUJIRAはベンチマーク(ELYZA-TASK100)において約3.8 (LLaMa3-70B). Модальности:Генерация текста Задача: Генерация текста Автор: DataPilot Теги: mistral, text-generation-inference, endpoints_compatibleЛайков: 64 | ...

Генерация текста

xDAN-AI/xDAN-L1-SOLAR-RL-v1

Отказ от ответственности Мы применяем строгие алгоритмы проверки соответствия данных на протяжении всего обучения нашей языковой модели, чтобы...