Этот репозиторий представляет собой 4-битную сборку MLX google/translategemma-4b-it, полученную из mlx-community/translategemma-4b-it-4bit и переконфигурированную для Immersive Translate, когда вы вызываете его через локальный сервер, совместимый с OpenAI (например, mlxlm.server`). Целью является надежный перевод на устройстве на Apple Silicon: правильные токены остановки и шаблон чата, который понимает простые текстовые заполнители Immersive Translate. — Для EOS/остановки (Generationconfig.json) eostokenid установлено значение [106, 1], поэтому генерация может завершиться как по идентификатору конца хода Gemma, так и по токену. Это позволяет избежать неконтролируемого или неудобного усечения, когда API-интерфейсы в стиле OpenAI передают или удаляют токены иначе, чем в простом цикле генерирования()`. — Шаблон чата (chattemplate.jinja). Шаблон был переформатирован для Immersive Translate, но остался совместимым с сообщениями в стиле TranslateGemma: — Если сообщение пользователя представляет собой строку и содержит , оно анализируется на исходный язык, целевой язык и основной текст, а затем расширяется до той же инструкции «профессиональный переводчик», которая используется в официальном шаблоне. — Если содержимое имеет официальную форму списка диктовок (исходный код языка, целевой язык кода, текст), этот путь не изменяется. — Подсказка генерации заканчивается…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: mlx-community
Теги: mlx, gemma3, conversational, 4-bit
Лайков: 9 | Загрузок: 1,025
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
