Исходные веса специальных токенов Llama 3 8b (базовые) равны нулю, что может вызвать градиенты NaN. В этой версии повторно инициализировались веса всех следующих специальных токенов, чтобы решить проблему. Мы устанавливаем веса этих токенов в embed и lmhead`, чтобы они были средним значением всех остальных токенов.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: imone
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 17 | Загрузок: 9
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
