本项目探索了一种基于扩散语言模型的输入法实现思路。它基于 LLaDA 的实现，并融合了 Engram 模块，期盼利用语言模型强大的上下文理解能力来提升长句输入的准确性与连贯性。 在提示符下输入字符串。 — 汉字: 请输入其虎码编码的前两位。 — 标点/大写字母/特殊符号: 直接输入原文即可。符号可以输入半角版本。 — 小写字母: 输入字母+空格。 — 混合输入: 支持编码与原文混合输入。 ⚠️本项目可能包含⚠️： — 没有认真处理和选择的训练语料 — 拍脑袋想出来的模型架构和超参数 — 低效的模型实现和推理代码 其实早在 ChatGPT 还没有横空出世、我还没有了解过 transformer 的时候，我就思考过能不能用深度学习模型做出更加强大的输入法。那时候我试着学习形码（最后并没有坚持下来），也常常幻想其他提升输入效率的手段。我曾想输入法也许可以更熟悉语言应当有的语法和语义、能以更高的概率组出合理的句子。当然它的用户界面可能与现在的输入法大相径庭、以输入句子甚至段落为核心，从而能利用起来上下文的信息。（当然做这事的人可能不少。）不过那时没有 v
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Epsilonoid
Теги: llada, custom_code, zh
Лайков: 3 | Загрузок: 15
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
