Это версия mookiezi/Discord-Micae-Hermes-3-3B без цензуры, созданная с помощью аблитерации (более подробную информацию об этом см. в разделе «Удалить-отказы-с-трансформерами»). Это грубая, экспериментальная реализация для устранения отказов из модели LLM без использования TransformerLens. Discord-Micae-Hermes-3-3B — это новая доработка NousResearch/Hermes-3-Llama-3.2-3B. Модель была обучена на 17 миллионах токенов из 250 тысяч Discord STX (однооборотные обмены) в течение 6 эпох и 5,5 миллионов токенов из 100 тысяч многооборотных цепочек в течение 6 эпох со скоростью обучения 2e-5, заканчивая объединением обоих наборов дат для 1 эпохи в 1e-5. Мы использовали косинусную разминку с 220 шагами разминки для каждой фазы. Адаптер LoRA был обучен с альфа = 32 и r = 8. Эта модель была доработана на наборе данных mookiezi/Discord-OpenMicae. Micae использует тот же ChatML в качестве формата приглашения, что и Hermes 3, и обрабатывает контекст.
Модальности:
Генерация текста
Области применения:
Следование инструкциям Диалог / чат
Задача: Генерация текста
Автор: huehui
Теги: llama, causal-lm, instruct, chat, fine-tuned, merged-lora, llama-3, hermes
Лайков: 5 | Загрузок: 17
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
