Современный независимый диалоговый агент – для исследований и развлечений > «Мы убрали барьеры и удвоили ставку на необработанные рассуждения. Аполлион — это то, что происходит, когда вы позволяете модели высказать свое мнение». > — Команда Grok OSS Мы курировали собственный тщательно отфильтрованный набор данных, содержащий около 1000 диалоговых ходов (всего около 1‑2 млн токенов), отобранных на основе внутренних взаимодействий в стиле Grok. В этом наборе данных подчеркивается: — Фактическая плотность – высокое соотношение сигнал/шум, охватывающее различные области. — Разговорное чутье – имитирует фирменный тон Грока: откровенный, остроумный, а иногда и провокационный. — Нейтральность предвзятости – постфильтрация для устранения явных политических или культурных предубеждений, гарантирующая, что несогласованность модели не будет направленно искажена. Конфигурация: — Фреймворк: trl + оптимизация Unsloth. — LoRA: ранг r=32, альфа 64, нацелен на все линейные слои, включая lmhead. — Точность: 16 бит (смешанная). — Гиперпараметры: — Размер пакета: 8 (на устройство) × 8 шагов накопления градиента → эффективный пакет 64. — Скорость обучения: 2e‑4 (косинусный график с прогревом 3%). — Оптимизатор: AdamW 8 бит. — Эпохи: 2 (полный проход по набору данных). — Максимальная длина последовательности: динамическая, с включенной упаковкой** (ускорение в 5 раз на коротких…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: c4tdr0ut
Теги: gguf, mistral, text-generation-inference, unsloth, grok, unhinged, unaligned, abliterated
Лайков: 5 | Загрузок: 2,612
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
