Спасибо команде Tilde за прекрасную базовую модель и за приручение этого огромного LUMI-зверя — наверное, это было сумасшедшее путешествие! Это усовершенствованная многоязычная модель обучения объемом 30 бит. Он показывает высокие результаты при многоязычной оценке EuroBlocks по сравнению с моделями аналогичного размера, с особенно краткими результатами. Эти тесты на данный момент представляют собой, по сути, дымовые тесты, чтобы убедиться, что я не создал катастрофу. Всегда проводите собственные оценки для вашего конкретного случая использования. Я обязательно буду использовать его для работы с языками LV в качестве замены Gemma 3; кажется более способным. Похоже, что благодаря обширным обучающим наборам он также приобрел правильную настройку, по крайней мере, на базовом уровне. Я проведу и опубликую дополнительные тесты, возможно, с использованием квантования. Помимо этой тонкой настройки, можно использовать более легкие прикосновения, чтобы подтолкнуть модель к правильным прогнозам. ATM, я использую больше RAG SFT на модели, нужно добавить больше возможностей заземления. — 1) Официальный докер TGI НЕ РАБОТАЕТ, используйте докер vLLM с —tokenizer-mode медленный — 2) правильное системное приглашение — правильный язык — 3) правильный RAG — модель настроена на RAG. Используйте правильный язык подсказки в качестве системной роли, это помогает сначала прогнозировать токены для неанглоязычных пользователей. — База: TildeOpen-30B + формат ChatML -…
Модальности:
Генерация текста
Области применения:
Диалог / чат Мультиязычность Следование инструкциям
Задача: Генерация текста
Автор: martinsu
Теги: llama, multilingual, chatml, instruction-tuning, response-only-training, conversational, en, de
Лайков: 5 | Загрузок: 41
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
