В соответствии с лицензионным соглашением сообщества Llama 3 официальное название этой модели — «Llama 3 shisa-v1-llama3-70b». Это доработанная версия Llama 3 70B Instruct с основным набором данных shisa-v1 для улучшения возможностей японского языка. В этой модели используется LR 8e-6, который немного улучшает производительность по сравнению с исходной настройкой 2e-5 (на основе и подтверждении прогнозирующей силы результатов абляции Llama 3 8B LR). Он также использует NEFTune, хотя ожидаемое влияние для этого набора данных незначительно. В то время как модель 2e-5 соответствует производительности gpt-3.5-turbo, версия 2e-6 постоянно опережает ее, поэтому я думаю, будет справедливо сказать, что эта модель «превзойдет» ее. Хотя это всего лишь тестовая абляция на пути к shisa-v2, на момент ее выпуска (середина мая 2024 г.) это самая мощная коммерчески используемая открытая модель JA, протестированная на данный момент, поэтому эта модель может представлять общий интерес. Измерено с использованием ответвления тестовой среды Shaberi от Lightblue: вычислительные ресурсы для обучения этой модели были щедро предоставлены Ubitus. Эта модель представляет собой доработанную версию мета-ламы/Мета-Лламы-3-70B-Instruct для набора данных None. В наборе оценок он достигает следующих результатов: — Потеря: 0,4440 Следующие гиперпараметры были…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: shisa-ai
Теги: llama, generated_from_trainer, conversational, text-generation-inference, endpoints_compatible
Лайков: 4 | Загрузок: 29
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
