Продолжение предварительной подготовки по мистралай/Mistral-Nemo-Instruct-2407 с использованием набора данных курдской вики с небрежностью. Эта модель должна быть доработана, поскольку предварительная подготовка должна была улучшить понимание курдского языка. Это квантованная модель, использующая биты и байты, чтобы использовать меньше памяти. См. документацию bitsandbytes. Нет стандартной или даже хорошей курдской метрики для оценки модели (которую я смог найти). Сделаю своим следующим проектом создание оценки, чтобы была воспроизводимая базовая линия для курдского языка. Изучит настройку обучения с несколькими графическими процессорами, поэтому не придется ждать результатов весь день. Хотелось бы потренироваться и с Курманджи, и с Сорани. Должен быть дополнительно настроен под конкретную задачу. См. инструкцию по тонкой настройке модели nazimali/Mistral-Nemo-Kurdish-Instruct. Трансформаторы 4.44.2 1 NVIDIA A100 80GB PCIe Duration 6h 31m 4s — nazimali/kurdish-wikipedia-articles — Dataset number of rows: 63,076 — Filtered columns title, text — Must have at least 1 character — Number of rows used for training: 62,720
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: nazimali
Теги: mistral, text-generation-inference, unsloth, conversational, ku, en, endpoints_compatible
Лайков: 3 | Загрузок: 35
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
