数据约束下通过词汇干预实现多语言知识迁移
Multilingual Knowledge Transfer under Data Constraints via Lexical Interventions
摘要
跨语言知识迁移对训练数据不足的多语言语言模型至关重要，涉及科学推理、常识推断和世界知识等下游任务需从高资源语言获取知识。现有改进方法依赖大量平行语料、翻译系统、辅助模型或额外训练阶段，资源需求较高。
跨语言知识迁移对于构建训练数据不足的多语言语言模型至关重要。当目标语言数据稀缺时，涉及科学推理、常识推断和世界知识的许多下游任务所需的知识必须主要从高资源语言中获取，因此有效的知识迁移至关重要。现有的改进此类跨语言知识迁移的方法需要大量平行语料、翻译系统、辅助模型或额外的训练阶段，这些条件……
译自 Apple · ML Research · 录于 二〇二六年八月二十一日