GodziLLa 2 70B представляет собой экспериментальную комбинацию различных запатентованных LoRA из набора данных Maya Philippines и Guanaco LLaMA 2 1K с LLaMA 2 70B. Основная цель этой модели — провести стресс-тестирование ограничений составных LLM, следующих инструкциям, и наблюдать за ее производительностью по сравнению с другими LLM, доступными в таблице лидеров Open LLM. Эта модель дебютировала в таблице лидеров на 4-м месте (17 августа 2023 г.), дебютировала в обновлении Fall 2023 на 2-м месте (10 ноября 2023 г.) и работает под лицензией Llama 2. !Godzilla Happy GIF Согласно описанию таблицы лидеров, для оценки использовались следующие тесты: — MMLU (5-shot) — тест для измерения точности многозадачности текстовой модели. Тест охватывает 57 задач, включая элементарную математику, историю США, информатику, право и многое другое. — AI2 Reasoning Challenge -ARC- (25 кадров) — набор вопросов по естественным наукам для начальной школы. — HellaSwag (10 выстрелов) — тест на логические выводы, который прост для людей (~95%), но сложен для моделей SOTA. — TruthfulQA (0-shot) – тест для измерения склонности модели воспроизводить ложь, часто встречающуюся в Интернете. — Виногранде (5 выстрелов) – состязательный и сложный эталон Винограда на…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: MayaPH
Теги: llama, merge, mix, cot, text-generation-inference
Лайков: 38 | Загрузок: 934
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
