Эта модель представляет собой модель 7B OpenHathi, настроенную на наборе данных IndicInstruct, который представляет собой набор наборов данных инструкций (Anudesh, wikiHow, Flan v2, Dolly, Anthropic-HHH, OpenAssistant v1 и LymSys-Chat). Пожалуйста, проверьте соответствующую карточку набора данных Huggingface для получения более подробной информации. Это обучение было проведено в рамках технического отчета «Айравата: введение в LLM с обучением на хинди». Базу кода, используемую для обучения и оценки этой модели, можно найти по адресу https://github.com/AI4Bharat/IndicInstruct. Клонируйте https://github.com/AI4Bharat/IndicInstruct и установите необходимые зависимости. Затем загрузите или клонируйте эту модель на ту же машину. Модель обучена использовать формат чата, аналогичный репозиторию кода open-instruct (обратите внимание на новые строки): для достижения наилучших результатов форматируйте все входные данные таким образом. Обязательно добавьте новую строку после , это может сильно повлиять на качество генерации. Мы настраиваем базовую модель OpenHathi на основе вышеупомянутого набора данных IndicInstruct с помощью LoRA. Гиперпараметры для тонкой настройки LoRA перечислены ниже: — Ранг LoRA: 16 — Альфа LoRA: 32 — Отсев LoRA: 0,05 — Целевые модули LoRA: [«qproj», «vproj», «kproj», «downproj», «gateproj», «upproj»] — Эпохи: 4 — Скорость обучения: 5e-4…
Модальности:
Генерация текста
Области применения:
Мультиязычность
Задача: Генерация текста
Автор: ai4bharat
Теги: gguf, llama, multilingual, instruction-tuning, llama2, en, hi, model-index
Лайков: 39 | Загрузок: 1,229
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
