浅析音视频比对技术在电视内容监管中的应用

　　一、电视内容监管的重要性 2.台标识别

　　现今电视节目类型越来越多，节目内容千变万 台标识别就是通过对节目台标的自动识别，确 化，其中不免会出现违反广电总局规定的特定内容 定节目名称或者检验台标是否正确的监测。

　　和特定信息，对社会信息传播产生负面的影响。电 首先通过人工的方法从网络或视频节目流中获 视节目的内容监管迫在眉睫，即便通过增加人工审 取台标图像，去除图像中的背景噪声，把处理过的 核也无法实现海量内容监管，所以需要利用音视频 台标图像存入模板数据库中。然后将要进行比对的 比对技术实现内容监管的自动化，并且不断提高自 视频节目流进行一些预处理，从节目画面中确定台

　　动监管的准确度和置信度。 标位置，截取台标区域的图像，并对该图像进行边 电视内容自动监管是利用文本、图像、音频、 缘检测，计算台标图像边缘信息的加权平均值，弱 视频内容自动识别分类技术对电视播出的内容进行 化背景边缘信息，强化台标边缘信息，然后通过设 自动化审核与判定，这些内容包括同播监测、台标 定阈值，得到台标的边缘轮廓图像。通过算法提取

　　识别、节目播出内容分析等几方面内容。 出台标模板图像，通过与原视频图像“与”操作，

　　二、音视频比对技术的应用 得到最终台标图像。最后将截取的台标图像与模板 音视频比对一般流程为建立样本资源库、样本 数据库中的台标进行匹配，通过算法得到最终结 库匹配、产生比对结果。下面针对不同的应用场 果。这个算法计算量较大，需要较长比对时间，可

　　景，分析音视频比对技术的应用。 以通过增加颜色特征值，先粗略识别台标库，缩小

　　1.同播监测 比对范围，然后通过以上算法，最终得到识别结 同播监测是指对2套以上不同电视节目进行比 果，这样可以缩短台标识别时间，提高识别效率。

　　对，审核其播出节目是否一致，比如《新闻联播》 3.节目播出内容智能分析

　　播出时，要求各地方卫视进行全程转播。通过人工 节目播出内容智能分析是对节目内容进行自动 监看，无法做到全程完整监看，而通过同播检测技 识别和比对，用于查找相关节目，分析热点、特定

　　术，可以快速监测各节目是否完整转播。 节目分析等。节目播出内容分析可以使用音视频比 例如现在需要比对2个节目是否同播，首先缓存 对技术，包括人脸识别、声纹识别、语音转写、关 同样时长的码流数据（假定其播出时差较小，若时 键词检索、图片检索等智能检索与分析技术，并且 差大，需要缓存较长时间的码流数据），然后进行 通过这些技术的组合应用，增加识别的维度，提高 数据采样，数据采样的方法是按一定的时间间隔从 识别的准确性。

　　一个电视节目中抽取画面。例如一段30秒的码流数 人脸识别技术是通过对人脸建立特征库，可以 据，按3秒的间隔从电视节目A中抽取出A1到A10共 在海量节目中检索出某个人物出现次数，从而得出

　　10个画面（抽取画面的间隔越短，机器需要比对的 某个事件的传播频次，若超过一个阈值，可以判定 时间越长）。然后以画面A1到A10为被检索画面依 为传播热点，或是可以在节目中检索出特定人物的 次在电视节目B中进行检索，如果这组画面按顺序 头像。

　　在电视节目B中被检索到，则认为2个节目内容相 声纹识别是通过对不同的声音进行采集和处 同，反之如果没有检索到，则认为2个节目内容不 理，建立声纹特征库，当需要对某人进行检索时， 同。如果节目个数增加，以一个节目为样本，抽取 使用这段声纹在海量节目中检索出相关内容。

　　画面后，在其他节目中检索，并产生检索结果。 语音转写就是将一段视频节目中的语音提取后进行语音的转写，最后输出文字内容，这样可以省 去人工全程观看节目的时间，因为节目中可能包含 大量无用的音乐或者背景转换的时间，通过直接阅 读节目中的文字，可以快速了解节目的内容，大大 提高了人工研判的效率，文本也有利于自动检索关

　　键字等处理，提高自动检索的效率。

　　关键词检索首先需要设立关键词库，当需要检 索时，从库选择关键词，可以在上述转换的文本内 容中检索，也可以对视频中的语音进行检索，从而

　　快速定位节目内容。

　　图片检索是将需要检索的图片建立样本库，当 需要检索时，选择图片，将其与视频进行比对，检

　　索出出现该图片信息的相关视频。

　　在实际应用中，以上每个样本库可以集合成一 个多维度的信息样本库，通过不同维度的分析，交 叉复现，得出分析结果。在实时节目内容监管中， 可以使用人脸识别、声纹识别、关键词检索对节目 进行预警，当出现特定人物、声音和关键词时，推 送预警信息，可以大大提高特定信息的检索效率， 避免人工监看的遗漏。在热点分析时，可以根据某 些特征人物、声音、文字、图片在短时间内的出现 频率，分析是否 事件库中，这样可以用于事后追溯，也可以成为智 能语言理解库的学习依据。对于处理涉恐、涉黄等 节目内容时，可以通过对视频特征提取关键图像 帧，转换为图像信息，将其与信息样本库比对，通

　　过智能比对，识别是否为涉恐、涉黄内容。

　　三、音视频内容监管的应用前景

　　通过音视频比对技术对音视频内容进行监管， 大大提高了内容层监管的效率和准确度。对于海量 的节目数据，无论是卫星电视、有线电视、IPTV， 还是互联网电视或网上音视频，都可以进行内容层

　　的监管。

　　对于卫星电视、有线电视、IPTV等闭环的电视 传播方式，通过对实时节目和抓取录像进行内容层 比对，可以较快速检索出结果，得出传播热点分 析。但对于海量的互联网电视和网上音视频，无法 对其音视频进行采集录制后比对，但可以通过网络 爬取技术来实现音视频比对，但需要较长的时间和

　　较大的运算量。

　　无论是监管部门还是节目制作、发布部门，都 急切需要基于音视频比对技术的内容监管，以此来 规范音视频节目内容传播，塑造风清气正的媒体环 是传播热点信息，并且可以通过智 境。通过音视频比对技术和人工智能技术结合的内 能语言理解技术，快速提供这个热点事件的基本信 容监管，将能辅助监管人员大幅度有效提高工作效 息，如时间、地点、人物、事件信息、事件分类 率，多维度的监管手段可以实现全网的音视频数据 等，快速输出传播热点及传播导向。并且可以自动 自动检测分析，不同维度对数据进行分析，可以实 为事件打上标签，如环球热点、社会新闻、经济、 现监管对象、事件的精准定位和回溯，其应用前景 科技、娱乐、体育等标签，通过人工审核后收录到 非常广泛。