apple-ml-research
利用手语模型自举手语标注
Bootstrapping Sign Language Annotations with Sign Language Models
摘要
该工作针对 AI-driven sign language interpretation 标注数据不足问题，开发 pseudo-annotation pipeline，以手语视频和英文为输入，输出按可能性排序的 gloss、fingerspelled words 和 sign classifiers 时间区间，用于利用 ASL STEM Wiki、FLEURS-ASL 等部分标注数据。
AI-driven sign language interpretation 受限于缺乏高质量的标注数据。新的数据集包括 ASL STEM Wiki 和 FLEURS-ASL，包含专业译员以及数百小时的数据，但仍然只有部分标注，因此未被充分利用，部分原因在于进行这种规模标注的成本过高。在这项工作中，我们开发了一个 pseudo-annotation pipeline，它以手语视频和英文作为输入，并输出一组按可能性排序的标注，包括 gloss、fingerspelled words 和 sign classifiers 的时间区间。我们的 pipeline 使用来自……
译自 apple-ml-research · 录于 二〇二六年五月八日