tabtoyou/KoLLaVA-LLaMA-v2-7b-qlora - Каталог нейросетей
Генерация текста

tabtoyou/KoLLaVA-LLaMA-v2-7b-qlora

Добавлено:

Эта модель представляет собой большую мультимодальную модель (LMM), которая объединяет LLM (LLaMA-2-7b-ko) с визуальным кодером CLIP (ViT-14), обученным на корейском наборе данных с визуальными инструкциями с использованием QLoRA. — Гиперпараметры обучения — Скорость обучения: 2e-4 — Размер обучающего пакета: 16 — Тип распределения: несколько графических процессоров (RTX3090 24G) — Количество устройств: 4 — Количество шагов накопления градиента: 2 — Общий размер обучающего пакета: 128 — Общий размер пакета оценки: 4 — Тип планировщика скорости обучения: косинусоидальный — Количество эпох: 1 — Включение LoRA: True — Количество бит: 4

Модальности:
Генерация текста

Задача: Генерация текста
Автор: tabtoyou
Теги: llava, endpoints_compatible, 4-bit
Лайков: 2  |  Загрузок: 8

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.

Теги: #4-bit #endpoints_compatible #llava

Похожие модели (Генерация текста)

Генерация текста

puwaer/Doujinshi-14b-chat

Doujinshi-14b-chatは、r18に特化した大規模言語モデル(LLM)であり、Qwen/Qwen3-14Bをベースに継続事前学習,dpo,sftを行いました。本モデルは、dmm.co.jp,dlsite.co mよりスクレイピングし作成した40億トークンのr18向けデータセットを使用してトレーニングされています。本モデルは、以下のデータセットを使用して継続事前学習,dpo,sftを行いました。 — puwaer/dlsite-jp-v1 — puwaer/dlsite-jp-v2 — puwaer/dlsite-jp-v3 — puwaer/dmm-fanza-jp-v1 — puwaer/dmm-fanza-jp-v2 — puwaer/dmm-fanza-jp-v3 — puwaer/Doujinshi-sft-dataset-v1 — puwaer/Doujinshi-dpo-dataset-v1...

8
HF Подробнее
Генерация текста

OpenMOSS-Team/SpeechGPT-7B-ma

SpeechGPT — это большая языковая модель с внутренними кросс-модальными разговорными способностями, способная воспринимать и генерировать многомодельный контент, следуя...

8
HF Подробнее
Генерация текста

Maykeye/TinyLLama-v0

Это первая версия воссоздания roneneldan/TinyStories-1M, но с использованием архитектуры Llama. * Полный процесс обучения включен в блокнот train.ipynb....

131.3k
HF Подробнее