实况照片的原理是什么？

实况照片的本质就是用精确的时间顺序来控制苹果所做的一切，“静止、运动和声音三者合一”，形成一个整体的影像包。这并不是简单的录视频，而是当按下快门的时候，在大约1.5秒之前到之后的时间里捕捉到30张720P的画面以及同期的声音，并且把这些信息放在一个叫做HEIF的文件里保存下来——这个文件里面包含了照片的所有元数据并且给用户提供了一个可以互动的空间和时间上的深度体验。

一、多帧采集：利用硬件协同的方式完成毫秒级别的时序捕捉

实况照片的动态基础来自于iPhone 6S及其之后型号所使用的A9芯片和专门的图像信号处理器(ISP)之间高度的合作关系，在用户轻触快门进行对焦的时候就已经开始了一种预先缓冲的状态，并且以每秒三十幅的速度连续拍摄画面；等到用户真正按下快门的那一刹那，ISP就会立刻捕捉到从前15张图片到中间一张再到后14张图片一共30张分辨率为720P的照片。这个过程完全依靠陀螺仪以及加速度计所提供的运动向量数据来校正由于手部晃动而造成的误差，保证了相邻两张照片之间空间上的一致性。另外所有的照片都使用了和主照片一样的白平衡、曝光参数以及色彩配置文件，在播放过程中不会产生闪烁或者颜色偏差的问题。

第二点就是音频同步，不是简单的录音，而是对环境声音场进行真实的再现

实况照片所配的音频不是单独录制的，在拍照的时候就用到了iPhone内部的两个麦克风阵列来捕捉声音，并且通过A系列芯片上的音频协处理器来进行降噪和增益均衡。系统可以自动地选择出人声部分（300赫兹到3400赫兹之间）、环境中的重要声音（比如鸟叫、流水声、快门声等），并且把它们保留下来，而忽略掉低频的风噪声以及高频的电磁干扰。音频长度正好对应着三秒钟的动作画面，开始的时间和第一张图片的时间戳一致，误差不超过五毫秒之内，保证了声音和画面唇齿相依的程度。

第三部分 智能封装，在HEIF容器之下采用双轨存储方式

实况照片实际上就是一种符合ISO Base Media File Format规范的HEIC文件，里面包含两个轨道：主轨道是一张经过优化压缩后的JPEG格式静态关键帧（也就是用户相册里默认显示的照片），副轨道是一段用H.264编码的MOV格式动态片段（带声音）。系统会把关键帧的位置信息添加到元数据中去，这样当iOS相册应用以缩略图的形式展示这张图片的时候只加载静态帧，在点击之后才会解码出前后两帧进行播放。因此单张实况照片的大约大小只有3MB左右，比同长度的MP4文件小一半多一点。

四、交互逻辑：由存储格式到用户体验的一条完整的链条

对于用户的设备来说，“可长按播放”的功能得到了iOS系统的PhotoKit框架的支持，在显示小图标的时候会加入一个轻量级的动态预览帧（五帧GIF式的序列），以此来减少第一次加载图片所花费的时间；当用户进行长时间点击操作的时候，GPU加速解码器就会被调动起来去处理MOV轨道的数据，并且还会启动音频子系统。整个过程不需要依靠网络也没有必要使用iCloud来进行数据传输和同步工作，所有的操作都是在本地完成的，从而保证了无延时地响应用户的需求。因此，在关闭了“实况照片”选项之后的新拍摄的照片就不会再产生MOV轨道了，但是之前已经存在的实况照片仍然可以正常播放——因为它们已经被写入到存储介质中去了。

所以实况照片就是一种软硬件结合而成的精细影像工程，每一个部分都是为了达到使一个瞬间更加真实的这个目的而存在的。