SEI介绍

SEI的英文全称是Supplemental Enhancement Information，即补充增强信息。它是插入到音视频流中以传达额外信息的文本数据，可以与相关音视频内容精准同步，经过传输链路到达客户端。

在音视频内容的生成端和传输过程中都可以插入SEI，用户可以根据自身需求在SEI中添加各种类型信息，例如摄像机和编码器的多种参数（时间码，字幕，歌词等）、视频版权信息、公告内容等。由于SEI不是音视频编解码和传输过程中的必须选项，因此这些环节中都可能因为某种原因而丢弃SEI内容。

SEI被广泛应用在需要将文本信息和音视频数据精准同步的多种场景中，例如一直很火的直播答题活动。在该类直播活动中，主持人发送各种问题，观众在APP端进行回答并获得积分或奖励，其实现方法大致如下图所示。主持人提出问题，现场工作人员发送指令，通过AppServer，调用插入SEI的API，在直播流当前位置中插入若干SEI（可根据活动需求自定义内容，通常包含出题内容、答题剩余时间等调用指令），APP端接收到视频流后并解析SEI，并立即向App Server请求对应的题目等内容，然后显示在APP上，完成整个出题过程。

美乐威Ultra Encode系列编码盒支持时间码和字幕写入到 H.264和HEVC的SEI中。其中Ultra Encode HDMI支持提取输入信号中的Vendor Specific InfoFrame的时间码信息写入SEI；Ultra Encode SDI支持将系统时间码，或从输入信号中提取的SMPTE RP-188时间码写入SEI。Ultra Encode SDI还支持保留输入信号中的CC（Closed Caption）字幕信息，字幕需符合CEA-608或CEA-708内嵌CEA-608标准。