Пожалуйста, обратитесь к https://huggingface.co/uzlm/alloma-3B-Instruct для получения обновленной модели. Наша модель Llama-3.2-3B-Instruct-uz (экспериментальная) постоянно предварительно обучалась с длиной контекста 2048 токенов, на 1,2 млрд токенов (80% английский, 20% узбекский), а затем настраивалась SFT. Наш настроенный токенизатор в среднем использует 1,7 токена на узбекское слово по сравнению с ~3,5 в исходных моделях Llama, что означает в 2 раза более быстрый вывод и большую эффективную длину контекста в узбекском тексте. Вы сможете запустить эту модель всего на 4 ГБ видеопамяти (с квантованием), что идеально подходит для небольших графических процессоров, периферийных устройств или даже мобильных сценариев. —————————— | —-: | —-: | —-: | —-: | —-: | —-: | —-: | Результаты показывают, что наши модели, оптимизированные для узбекского языка, постоянно превосходят свои базовые аналоги в тестах перевода (BLEU и COMET) в наборах оценочных данных FLORES+ Uz-En / En-Uz и анализе настроений на узбекском языке. Кроме того, в тесте MMLU, который измеряет общее понимание языка при выполнении нескольких задач на английском языке, а также в задачах классификации новостей, наша оптимизированная для узбекского языка модель показала небольшое снижение из-за катастрофического забывания исходных инструкций на английском языке. (Официальный MMLU модели Llama…
Модальности:
Генерация текста
Области применения:
Диалог / чат Перевод Суммаризация Ответы на вопросы Следование инструкциям
Задача: Генерация текста
Автор: bxod
Теги: llama, uzbek, uzbekllm, uzbeknlp, translation, summarization, question-answering, tokenizer
Лайков: 5 | Загрузок: 6
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
