— Данные обучения: эта модель была обучена на наборе данных со столбцами для первоначальных рассуждений, пошагового мышления, проверок после каждого шага и окончательных ответов на основе полного контекста. Лучше ли она оригинальной базовой модели? Трудно сказать без надлежащих оценок, и у меня нет ресурсов, чтобы запускать их вручную. — Обработка контекста: модель выигрывает от более крупных контекстов (минимум от 4 до 16 тысяч токенов, хотя она была обучена на 32 тысячах токенов). Он имеет тенденцию «задумываться», поэтому предоставление более длинного контекста помогает ему работать лучше. — Производительность: Судя по моим очень немногим ручным тестам, модель превосходно справляется с разговорными настройками, особенно с точки зрения психического здоровья, творческих задач и объяснения вещей. Тем не менее, я рекомендую вам попробовать это самостоятельно, используя этот блокнот Colab. — Примечание к набору данных: общедоступный набор данных представляет собой лишь частичную версию. Полный набор данных изначально был разработан для специальной архитектуры Mixture of Experts (MoE), но я не мог себе позволить провести полный эксперимент. — Благодарность: Особая благодарность KingNish за то, что возродили во мне желание вернуться к этому проекту. Я почти отказался от него после первой попытки месяц назад. Наслаждайтесь этой экспериментальной моделью! — Смело делайте…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Lyte
Теги: llama, text-generation-inference, unsloth, trl, sft, conversational, en, model-index
Лайков: 21 | Загрузок: 24
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
