GodziLLa-30B представляет собой экспериментальную комбинацию различных запатентованных Maya LoRA с Lazarus-30B от CalderaAI. Эта составная модель не предназначена для какого-либо другого использования, кроме исследования поведения конкурирующих адаптеров LoRA. Точнее, поскольку это по своей сути модель LlaMA, коммерческое использование запрещено. Основная цель этой модели — стресс-тестирование ограничений составных LLM и наблюдение за их эффективностью по сравнению с другими LLM, доступными в таблице лидеров Open LLM. !Godzilla Let Them Fight Meme GIF Согласно описанию таблицы лидеров, для оценки использовались следующие тесты: — MMLU (5-shot) — тест для измерения точности многозадачности текстовой модели. Тест охватывает 57 задач, включая элементарную математику, историю США, информатику, право и многое другое. — AI2 Reasoning Challenge -ARC- (25 кадров) — набор вопросов по естественным наукам для начальной школы. — HellaSwag (10 выстрелов) — тест на логические выводы, который прост для людей (~95%), но сложен для моделей SOTA. — TruthfulQA (0-shot) – тест для измерения склонности модели воспроизводить ложь, часто встречающуюся в Интернете. — GodziLLa-30B находится на одном уровне с Falcon-40B-instruct (ранг №1 по состоянию на июнь 2023 г.). — ГодзиЛла-30Б превосходит…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: MayaPH
Теги: llama, merge, mix, cot, text-generation-inference
Лайков: 10 | Загрузок: 973
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
