设为主页  加入收藏
 
·I2S数字功放IC/内置DSP音频算法功放芯片  ·马达驱动IC  ·2.1声道单芯片D类功放IC  ·内置DC/DC升压模块的D类功放IC  ·锂电充电管理IC/快充IC  ·无线遥控方案
当前位置:首页->技术分享
音视频同步的原理及实现方案
文章来源:永阜康科技 更新时间:2018/7/18 11:39:00
在线咨询:
给我发消息
小鄢 2850985542
给我发消息
姚红霞 3003214837
给我发消息
张顺平 3003262363
13713728695
 

音视频同步是我们观看视频的一个基本体验,尤其对于视频画面中能看到声源动作(如:嘴型)的场景,音视频同步问题非常影响体验。

在短视频与直播APP中,采集端作为音视频的生产者,如果采集端产生的音视频源本身就无法保证同步,那么后面不管经过什么处理,都很难再让用户看到音视频同步的画面了,因此,在采集端保证音视频同步上尤其重要。

那么如何保证app在各种正常/非正常状况下尽量保证输出同步的音视频?本文就是讲述我们是如何解决上述问题的。

音视频同步的原理

音视频采集的数据分别来自于麦克风与摄像头,而摄像头与麦克风其实是两个独立的硬件,而音视频同步的原理是相信摄像头与麦克风采集数据是实时的,并在采集到数据时给他们一个时间戳来标明数据所属的时间,而编码封装模块只要不改动音视频时间的相对关系就能保证音频与视频在时间上的对应。如此封装好数据之后,播放端就能够根据音视频的时间戳来播放对应的音视频,从实现音视频同步的效果。

时间戳参考标准

取格林威治时间做为对比标准,即音视频时间戳都为采集时间点相对于格林威治标准时间的时间差;

取系统开机时间做为对比标准,即音视频时间戳都是采集时间点相对于手机开机时间的时间差。目前iOS上AVCaptureSession这套API就是参考这个时间标准给的时间戳。

其它时间戳标准

基于“开源项目1”的音视频同步探讨

原生某开源框架

如图:

简介

音/视频被采集到之后会先经过音/视频处理模块,音/视频在被处理之后才进入计算时间戳的模块。

在第一帧到达时记一个计时起点,然后根据采集的帧间隔对接下来每一帧的时间戳进行计算:frameTimeStamp = lastFrameTimeStamp + frameDuration。

优点

能输出frame duration稳定的音视频时间戳。

风险

无论是音频还是视频,在手机过热、性能不足等极端情况下有可能出现采集不稳定的情况,比如说预计1s采集30帧,实际只采集到28帧,而音视频的时间戳是通过累加来计算的,这样就有会出现音视频不同步的情况。

Video Process(人脸检测、滤镜、3D贴纸)有可能无法在一帧时间内处理完当前帧,这样就会出现帧数比预期低的情况,从而出现音视频不同步。

帧间隔涉及到无限小数时,因为计算机的精度有限会引发的时间戳偏移,此偏移会随着帧数的增加而逐渐被放大。

基于开源项目1的改进方案1

如图:

时间戳的获取方法非常直接——每一帧都在改帧进入时间戳计算模块时获取当前系统时间作为时间戳。

优点

APP性能正常的情况下肯定不会出现音视频不同步;

能够实时纠正时间戳,只要APP正常运转,就能立即恢复正确的时间戳。

风险

依赖Video Process与Audio Process模块处理时长相近,而实际工程中因为人脸检测、贴纸等原因,Video Process可能会出现阻塞的情况,从而导致临时性的音视频不同步

在Audio Process与Video Process模块处理帧耗时不均匀的情况下会出现音视频时间戳不均匀的问题,能否正常播放依赖于终端

基于开源项目1的一个改进方案2

如图:

简介

音/视频被采集到之后,先获取采集模块提供的音视频时间戳,然后在音/视频处理模块透传采集模块获取到的音/视频时间戳,在时间戳计算模块继续透传采集模块给的时间戳。

优点

除非采集模块给出错误数据,否则音视频都一定是同步的。

风险

可能会出现音视频时间戳不均匀的情况,尤其是在手机过热、性能不足等极端情况下。

直播方向更进一步的优化探讨

大致流程如图:

简介

音/视频被采集到之后,先获取采集模块提供的音视频时间戳,然后在音/视频处理模块透传采集模块获取到的音/视频时间戳。

在时间戳计算模块透传视频时间戳,并根据下文中提到的方法计算音频时间戳。

音频时间戳计算方法

实时计算时间戳:当前时间戳=起始时间戳+帧数*帧采样数/采样率;

如果时间戳偏移量超出阈值,纠正时间戳;

纠正频率达到超出阈值,直接透传采集时间戳。

优点

能够提供一个稳定的音频时间戳,可以兼容帧间隔小幅抖动造成的音频时间戳不均匀;

兼容性能不足时导致实际采集帧数低于帧率。

风险

纠正时间戳时可能会造成声音卡顿的感觉。

总结

具体方案最好是针对实际应用场景有选择性的做优化,比如说,在可以控制播放器策略的情况,可以考虑根据自研播放器特性做时间戳处理。而如果播放器不可控,则尽量通过策略保障帧间隔稳定。

 
 
 
    您可能对以下产品感兴趣  
产品型号 功能介绍 兼容型号 封装形式 工作电压 备注
CS8316 PO at 10% THD+N, VIN=7.4V RL=4Ω+22uH 21W(D MODE NCN OFF) PO at 10% THD+N, VIN =7.4V RL=3Ω+22uH 25W(D MODE NCN OFF) TSSOP-24 5V-9V 针对双节锂电池串联供电应用,固定24倍增益,防破音,AB/D切换,功率限制,内置升压模 块,具备自适应升压功能,恒定25W输出功率R类单声道音频功率放大器
CS86189 2X25.5W/14V/4Ω或47W/18V/4Ω TPA3110/CS8618/CS3815 TSSOP-28 6V-18.5V 无滤波2X25W立体声D类功放IC,管脚兼容TPA3110
CS5082 CS5082E是一款5V输入,支持双节锂电池串联应用,锂离 子电池的升压充电管理IC.CS5082E集成功率MOS,采用异步开关架构,使其在应用 时仅需极少的外围器件,可有效减少整体方案尺寸,降低BOM成本。 CS5082E的升压开关充电转换器的工作频率为600KHz最大2A输入充 电,转换效率为90%。 CS5080 ESOP-8 3.44V-7.0V 带NTC功能、5V USB输入、双节锂电池串联应用、升压充电管理IC,管脚兼容CS5080
HT560 2X40W/18V/4Ω或75W/24V/4Ω QFN-36 4.5V-26V 30W立体声D类I2S输入音频功放
HT317 2X42W/18V/4Ω或75W/24V/4Ω TSSOP-28 5V-26V 42W立体声/75W单声道D类功放IC,,工作电压5-26V,极限耐压32V!
 
 
·蓝牙音箱的音频功放/升压/充电管
·单节锂电内置升压音频功放IC选型
·HT7179 12V升24V内置
·5V USB输入、三节锂电升压型
·网络主播声卡专用耳机放大IC-H
 
M12269 HT366 ACM8629 HT338 

业务洽谈:手机:13713728695(微信同号)   QQ:3003207580  EMAIL:panbo@szczkjgs.com   联系人:潘波

地址:深圳市宝安西乡航城大道航城创新创业园A5栋307/309

版权所有:深圳市永阜康科技有限公司  备案号:粤ICP备17113496号