> 🚨 ЭТО БАЗОВАЯ МОДЕЛЬ 🚨 > > Эта модель вырезана из базовой Llama 3 70B, которая не имеет настройки инструкций и случайно инициализируемых специальных токенов. > > Использование этого с форматом инструкций Llama 3 вводит случайный шум в скрытое пространство и дает неверные результаты. (На самом деле это довольно забавно.) > Относитесь к этому как к необученной базовой модели и используйте соответствующие подсказки. Параметры Llama 3 70B компании Meta были сокращены до 42B с использованием методологии, описанной в книге «Необоснованная неэффективность более глубоких слоев». Обучение после обрезки с использованием QLoRA для примерно 100 миллионов токенов из JeanKaddour/minipile. Все еще оцениваете, не волнуйтесь! Возможно, это невероятно глупо. Однако обратите внимание на эти цифры:
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: chargoddard
Теги: llama, axolotl, mergekit, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 117 | Загрузок: 8
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
