!Reyna aloobun qwen4B — доработан Qwen/Qwen1.5-4B для выполнения различных задач CoT, включая рассуждение, ответы на вопросы в закрытой книге, этику и многое другое. — Наборы данных: куратор из — kaist-ai/CoT-Collection, euclaise/TinyCoT и очень небольшого подмножества из teknium/OpenHermes-2.5. — Это четвертая модель в этой серии. Этот эксперимент направлен на улучшение возможностей цепочки мыслей (CoT) на небольших языковых моделях. — Я могу повторить эксперимент по точной настройке (с более сбалансированным набором данных), используя итеративную процедуру начальной загрузки обоснования, вдохновленную euclaise/Memphis-CoT-3B. — Гиперпараметр: adamw с eps 1e-8, косинусный затух с 20% разогревом, lr=2e-5 > Всего у нее будет 8 x 9 = 72 цветка. >У нее будет 72/12 = 6 букетов цветов по 12 цветов в каждом. >Поэтому ответ 6.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: aloobun
Теги: qwen2, finetune, synthetic data, custom_code, COT, conversational, text-generation-inference, endpoints_compatible
Лайков: 6 | Загрузок: 103
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
