AI 翻译字幕,难点不只在翻译
给视频加翻译字幕,经常会遇到一种情况:每个字都认识,意思也大致没错,但跟着视频看,就是有点别扭。可能是字幕抢先出现,也可能是一句话被拆得太碎,读起来接不上。
翻译之前就有坑。人名、术语、口音和背景噪声都可能让语音识别出错,后面的翻译会把这些错误继续传下去。多人对话还要分清说话人,否则连指代和语气都可能理解错。
字幕怎么切,也会影响翻译。一条字幕未必是一句完整的话,按条逐个翻,很容易丢掉上下文。先理解完整句子,再考虑怎么分屏,通常更合理。
中英文语序不同,又多了一层麻烦。“I bought this book yesterday”译成中文是“我昨天买了这本书”。“昨天”的位置变了,就不能把英文每个词的时间直接套给中文。需要对应的是一段意思,而这个片段有时必须大一些,才能容纳语序变化。
我觉得这里很有意思:翻译、对齐和显示,可以分别使用不同的单位。完整句子用来理解,语义片段用来对应,最后的字幕条则照顾阅读。太早把内容切碎,后面反而更难处理。
最后还得放回画面里看。停留时间够不够,换行顺不顺,两种语言叠在一起会不会挡住画面,这些都影响字幕是否好用。
词级时间还能用来做逐词高亮、KTV 效果和字幕动画。不过,一张带时间的词表只是基础,识别、翻译和语义对应仍然需要判断。

概念示意,连接线不表示精确逐词同步。
