Stambecco 13B Plus — это итальянский адаптер с эффективной точной настройкой параметров (PEFT), основанный на архитектуре Meta LLaMA-13B. Он был обучен на наборе данных Stambecco Plus, итальянском наборе данных инструкций, переведенном из Alpaca-GPT4 (GPT-4-LLM), набора данных, полученного непосредственно из GPT-4. В результате эта модель предлагает превосходное итальянское мышление, словарный запас и качество ответов по сравнению со стандартными моделями на основе GPT-3.5. Проект GitHub: mchl-labs/stambecco Используемый набор данных: mchl-labs/stambeccodataplusit Тип модели: Дельта адаптера PEFT/LoRA Этот репозиторий содержит веса адаптера LoRA (дельта). Чтобы выполнить вывод, загрузите эти веса поверх базовой модели LLaMA-13B, используя преобразователи и библиотеки peft Hugging Face: > 💡 Попробуйте это в Colab: вы также можете запустить интерактивный чат прямо в Google Colab, используя наш блокнот для вывода. Адаптер был настроен с использованием следующих гиперпараметров: — скорость обучения: 0,0003 — trainbatchsize: 4 — evalbatchsize: 8 -gradientaccumulationsteps: 32 — totaltrainbatchsize: 128 — оптимизатор: Адам с betas=(0,9,0,999) и epsilon=1e-08 — lrschedulertype: линейный — lrschedulerwarmupsteps: 100 – количество эпох: 4 – обучение смешанной точности: родной…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: mchl-labs
Теги: peft, llama, lora, italian, instruction-tuning, gpt-4, stambecco, it
Лайков: 4 | Загрузок: 6
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
