Эта модель представляет собой точно настроенную версию NousResearch/Llama-2-7b-chat-hf в наборе данных Thimira/sinhala-llm-dataset-llama-prompt-format. Это модель для генерации текста на сингальском языке, которая точно настроена на основе базовой модели llama-2-7b-chat-hf. В настоящее время возможности модели крайне ограничены и требуют дополнительных данных и тонкой настройки, чтобы быть полезными. Не стесняйтесь экспериментировать с моделью и предоставлять обратную связь. Модели Sinhala-LLaMA предназначены для ассистентского чата на сингальском языке. Чтобы получить ожидаемые функции и производительность от этих моделей, необходимо придерживаться формата подсказки LLaMA 2, включая INST и теги, токены BOS и EOS, а также пробелы и линии разрыва между ними. При обучении использовались следующие гиперпараметры: — скорость обучения: 0,0002 — размер партии: 2 — размер партии: 8 — семена: 42 — оптимизатор: Адам с бета=(0,9,0,999) и эпсилон= 1e-08 — тип lrschedulertype: константа — lrschedulerwarmupratio: 0,03 — количество эпох: 2 — PEFT 0.10.0 — трансформаторы 4.40.2 — Pytorch 2.1.0 — наборы данных 2.19.1 — токенизаторы 0.19.1
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Thimira
Теги: peft, tensorboard, llama, trl, sft, text-generation-inference, si
Лайков: 3 | Загрузок: 44
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
