Параметры Llama 3 70B компании Meta были сокращены до 42B с использованием методологии, описанной в книге «Необоснованная неэффективность более глубоких слоев». Обучение после обрезки с использованием QLoRA для примерно 100 миллионов токенов из JeanKaddour/minipile. Все еще оцениваете, не волнуйтесь! Возможно, это невероятно глупо. Однако обратите внимание на эти нулевые цифры MMLU:
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: lucyknada
Теги: llama, axolotl, mergekit, conversational, en, text-generation-inference, endpoints_compatible, 4-bit
Лайков: 4 | Загрузок: 5
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
