Это не полноценный цикл, который я планирую провести для крупномасштабной перегонки Llama3 70b. Вместо этого это предварительная тестовая серия специального тренажера для дистилляции, в которой мы нацелены на отклонение KL от более крупной модели учителя Llama3 70b на 4x8b (ученик). Я публикую его здесь главным образом для того, чтобы заинтересованные люди могли с ним поработать/настроить и посмотреть, как он себя ведет, прежде чем я буду готов к более масштабному запуску. Каждый из экспертных слоев MLP 8b дублируется в три раза из исходного Llama3 8b в типичном макете Sparse MoE в стиле Mixtral. В ходе обучения количество выбранных экспертов постепенно увеличивалось от минимального (topk=1) до максимального (topk=4), как в Sparse MoE, так и в New Dropout. Это было сделано с помощью стохастического/рандомизированного экспертного выбора Topk со слоями замороженных ворот**, как рекомендовано в статье. LR = 2e-6, ~2,5 миллиона токенов данных инструкций Python, всего около ~8 тысяч токенов для каждой выборки ~ (всего 300 выборок). Несмотря на использование данных инструкций, модель не обязательно ведет себя как модель, поскольку процесс обучения включает в себя имитацию распределений более крупной базовой модели по указанным данным. 1 эпоха дистилляции 70b logprobs, topk=200 логитов…
Модальности:
Генерация текста
Области применения:
Генерация кода Диалог / чат
Языки программирования:
Python
Задача: Генерация текста
Автор: kalo-team
Теги: mixtral, code, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 13 | Загрузок: 17
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
