Этот репозиторий содержит код и документацию для варианта Llama 3.2 1B нашей серии динамического тематического моделирования, основанной на подмножестве набора данных RedPajama, который мы создали для динамического тематического моделирования. Ссылка на набор данных: AmanPriyanshu/Dynamic-Topic-RedPajama-Data-1T-100k-SubSample-max-1k-tokens — базовая модель: Unsloth/Llama-3.2-1B-bnb-4bit — доработанная версия: AmanPriyanshu/Dynamic-Topic-Modeling-Llama-3.2-1B-bnb-4bit — Задача: Генерация иерархических тем — Данные обучения: 100 тыс. образцов из RedPajama-1T Модель была обучена на тщательно подобранном подмножестве набора данных RedPajama-1T: — 100 000 документов — Максимум 1024 токена на документ — Трехуровневый иерархические аннотации тем. — Исходные источники включают: CommonCrawl, C4, GitHub, Books, ArXiv, Wikipedia, StackExchange. Конфигурация ключей: — Длина последовательности: 2048 токенов. — Параметры LoRA: — Ранг: 16. — Альфа: 16. — Целевые модули: qproj, kproj, vproj, upproj, downproj, oproj, Gate_proj — Параметры обучения с поддержкой RSLoRA: — Размер пакета: 4 — Шаги накопления градиента: 2 — Скорость обучения: 3e-4 — Эпохи: 1 — Оптимизатор: AdamW 8-бит — Спад веса: 0,01 — Шаги прогрева: 10 Модель генерирует иерархические темы в формате: Домен > Высокоуровневый…
Модальности:
Генерация текста
Области применения:
Генерация кода Диалог / чат
Задача: Генерация текста
Автор: AmanPriyanshu
Теги: llama, topic-modeling, code, github, c4, common-crawl, wikipedia, book3
Лайков: 6 | Загрузок: 3
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
