iPhone 6 Plus是苹果首款具有光学防抖摄像头的手机,它的实际防抖效果如何?我们认为,很好,非常好,1/4秒手持拍摄成功率也能较高,明显优于其他机型,我们好奇这其中的秘密,到底是什么样的机制让它的防抖变得出色。
我们先来看看官方的说明:“光学图像防抖动功能,协同 A8 芯片、陀螺仪和 M8 运动协处理器,测量动态数据并进行精确的镜头移动,以补救弱光条件下手部抖动带来的影响。然后再加上长、短曝光影像的融合,进一步减轻拍摄主体晃动的问题”
这段描述解释了光学防抖的基本工作流程,侦测抖动量的工作是由主处理器、协处理以及陀螺仪共同完成,然后通过调整镜头中的线圈来控制镜片的移动,完成抖动的补偿,这个过程,其实与其他手机、相机的镜头的光学防抖原理是一样的,让iPhone 6 Plus防抖变得出类拔萃的是后面这句描述,重点在于“长、短曝光”,这里面有玄机。
iPhone 5S发布时,摄像头增加了一个“自动图像防抖动功能”,这个防抖和光学防抖又有什么不同?这个防抖的原理是多帧拍摄对齐合成。
多帧防抖是纯数字的防抖技术,它的基本原理是,单帧拆成多帧拍摄,然后对齐合成。苹果设定的多帧为4帧,举个栗子:假设测光得到了1/20秒,这个值对于一般人来说可能并不安全,会导致手抖,那么多帧防抖机制此时会启动,让摄像头连续拍摄4帧1/80秒的照片,当然,也可能拍摄成4张曝光时间并不等长的照片,然后对齐,对齐示意如图,多帧的交集可以合成一张不抖动的图像。
多帧的意义不止防抖,在苹果官方文案中也明确的说明了,降噪也可以依赖多帧实现,原理又是怎样呢?成像的噪点其实是无序排列的,也就是说上一张这个位置的噪点可能是红噪点,而下一张同一个位置可能是绿噪点,这样就有了比较条件,可以比较容易的将噪点筛选出来,图示中的红绿点表示噪点,当然,这只是图示,不会有这么巨大夸张的噪点的,噪点重叠的区域,可以得到白点,白点则根据进一步法的算法进行猜色和插值处理,达到去除噪点的效果,这种方法对处理常见的红绿噪点很有效。
多帧还可以用于HDR,这里不再赘述HDR的合成原理,想必大家都知道了,从iPhone 5S起,有个成像上的变化就是HDR似乎是关不掉的,暗部总会被稍稍提亮,iPhone 6 Plus的成像也继承了这个特点,应该是有个非常轻度的HDR在起作用,虽然APP单独提供了HDR选项,这个选项只是更重口味的HDR而已。
回到iPhone 6 Plus身上,它并不只是光学防抖,而是光学防抖加多帧防抖以及多帧合成组合运用的,我们来一看一组对比样张。
制造商=APPLE;型号=IPHONE 6 PLUS;镜头=iPhone 6 Plus back camera 4.15mm f/2.2;焦距=4毫米;等效焦距=29毫米;光圈=F2.2;测光模式=单点;感光度=ISO64;白平衡=自动;曝光补偿=0.0EV;曝光时间=1/15秒;曝光程序=程序模式;场景类型=标准;日期=2014.11.13 14:28:06
制造商=VIVO;型号=VIVO X710L;焦距=5毫米;感光度=ISO694;曝光补偿=0.0EV;曝光时间=1/33秒;日期=2014.11.13 14:26:09
制造商=NUBIA;型号=NUBIA Z7;焦距=4毫米;光圈=F2.0;感光度=ISO600;曝光时间=1/33秒;日期=2014.11.13 14:23:33
制造商=APPLE;型号=IPHONE 6 PLUS;镜头=iPhone 6 Plus back camera 4.15mm f/2.2;焦距=4毫米;等效焦距=29毫米;光圈=F2.2;测光模式=单点;感光度=ISO50;白平衡=自动;曝光补偿=0.0EV;曝光时间=1/30秒;曝光程序=程序模式;场景类型=标准;日期=2014.11.13 17:48:43
制造商=VIVO;型号=VIVO X710L;焦距=5毫米;感光度=ISO100;曝光补偿=0.0EV;曝光时间=1/33秒;日期=2014.11.13 17:48:20
制造商=NUBIA;型号=NUBIA Z7;焦距=4毫米;光圈=F2.0;感光度=ISO200;曝光时间=1/33秒;日期=2014.11.13 17:48:56
制造商=APPLE;型号=IPHONE 6 PLUS;镜头=iPhone 6 Plus back camera 4.15mm f/2.2;焦距=4毫米;等效焦距=29毫米;光圈=F2.2;测光模式=单点;感光度=ISO80;白平衡=自动;曝光补偿=0.0EV;曝光时间=1/4秒;曝光程序=程序模式;场景类型=标准;日期=2014.11.13 15:01:16
制造商=VIVO;型号=VIVO X710L;焦距=5毫米;感光度=ISO700;曝光补偿=0.0EV;曝光时间=1/14秒;日期=2014.11.13 14:55:38
制造商=NUBIA;型号=NUBIA Z7;焦距=4毫米;光圈=F2.0;感光度=ISO900;曝光时间=1/14秒;日期=2014.11.13 15:02:50
制造商=APPLE;型号=IPHONE 6 PLUS;镜头=iPhone 6 Plus back camera 4.15mm f/2.2;焦距=4毫米;等效焦距=29毫米;光圈=F2.2;测光模式=单点;感光度=ISO64;白平衡=自动;曝光补偿=0.0EV;曝光时间=1/15秒;曝光程序=程序模式;场景类型=标准;日期=2014.11.13 17:34:51
制造商=VIVO;型号=VIVO X710L;焦距=5毫米;感光度=ISO400;曝光补偿=0.0EV;曝光时间=1/33秒;日期=2014.11.13 17:35:29
制造商=NUBIA;型号=NUBIA Z7;焦距=4毫米;光圈=F2.0;感光度=ISO600;曝光时间=1/33秒;日期=2014.11.13 17:35:12
制造商=APPLE;型号=IPHONE 6 PLUS;镜头=iPhone 6 Plus back camera 4.15mm f/2.2;焦距=4毫米;等效焦距=29毫米;光圈=F2.2;测光模式=单点;感光度=ISO320;白平衡=自动;曝光补偿=0.0EV;曝光时间=1/4秒;曝光程序=程序模式;场景类型=标准;日期=2014.11.13 17:55:44
制造商=VIVO;型号=VIVO X710L;焦距=5毫米;感光度=ISO3000;曝光补偿=0.0EV;曝光时间=1/10秒;日期=2014.11.13 17:56:28
制造商=NUBIA;型号=NUBIA Z7;焦距=4毫米;光圈=F2.0;感光度=ISO3100;曝光时间=1/20秒;日期=2014.11.13 17:57:34
这组样张采用了3台支持光学防抖的机型拍摄,除了iPhone 6 Plus之外还有vivo Xshot以及nubia Z7。iPhone 6 Plus 光圈 F2.2,Xshot为F1.8,Z7是F2.0,为什么要强调光圈?请各位留意曝光时间和感光度参数。你会发现iPhone 6 Plus的光圈最小,自动感光度却往往是最低的,曝光时间是最长的,这似乎很好理解,为了画质。
如果细心一点,会发现iPhone 6 Plus的曝光量与另外两款明显不同,曝光量由光圈、快门时间决定,而感光度则是曝光效率,这3个值决定了最终的曝光量,你会发现,iPhone 6 Plus的曝光量明显更小,曝光差异甚至接近2EV,但iPhone 6 Plus的画面没有出现曝光异常。
可以认为,这是多帧合成技术导致的“参数异常”。iPhone 6 Plus 将单帧拆解成了4帧,而且每一帧的曝光参数并不一样,例如感光度和曝光时间都不一样,用低感光度和相对较长的曝光时间获得基础帧,用中等曝光参数获得矫正帧,用过曝的参数获得HDR的修正数据和部分噪点副本,苹果将这样的处理简单的解释为了“长、短曝光影像的融合”。合成的结果,曝光时间是时间总长,而感光度则可能使用了最低的那一帧,因此得出“异常的参数”。
看到这里,你或许困惑,光学防抖的意义到底体现在哪儿?我们查看了一下拍摄的大量样张,iPhone 6 Plus的最长快门时间为1/4秒,这对光学防抖的镜头来说其实也是不安全的,按照苹果的说法,多帧防抖是4帧合成,那么1/4秒可以拆解成平均1/16秒一帧,而1/16秒对光学防抖来说,是比较安全的,这就是光学防抖的意义。其实精髓,仍旧在多帧技术上。
制造商=APPLE;型号=IPHONE 6 PLUS;镜头=iPhone 6 Plus back camera 4.15mm f/2.2;焦距=4毫米;等效焦距=29毫米;光圈=F2.2;测光模式=模式;感光度=ISO32;白平衡=自动;曝光补偿=0.0EV;曝光时间=1/3049秒;曝光程序=程序模式;场景类型=标准;日期=2014.11.12 13:25:41
制造商=VIVO;型号=VIVO X710L;焦距=5毫米;感光度=ISO100;曝光补偿=0.0EV;曝光时间=1/2035秒;日期=2014.11.12 13:24:55
制造商=NUBIA;型号=NUBIA Z7;焦距=4毫米;光圈=F2.0;感光度=ISO100;曝光时间=1/1876秒;日期=2014.11.12 13:26:19
制造商=APPLE;型号=IPHONE 6 PLUS;镜头=iPhone 6 Plus back camera 4.15mm f/2.2;焦距=4毫米;等效焦距=29毫米;光圈=F2.2;测光模式=模式;感光度=ISO32;白平衡=自动;曝光补偿=0.0EV;曝光时间=1/1163秒;曝光程序=程序模式;场景类型=标准;日期=2014.11.12 13:28:27
制造商=VIVO;型号=VIVO X710L;焦距=5毫米;感光度=ISO100;曝光补偿=0.0EV;曝光时间=1/1087秒;日期=2014.11.12 13:28:38
制造商=NUBIA;型号=NUBIA Z7;焦距=4毫米;光圈=F2.0;感光度=ISO100;曝光时间=1/854秒;日期=2014.11.12 13:28:59
制造商=APPLE;型号=IPHONE 6 PLUS;镜头=iPhone 6 Plus back camera 4.15mm f/2.2;焦距=4毫米;等效焦距=29毫米;光圈=F2.2;测光模式=模式;感光度=ISO32;白平衡=自动;曝光补偿=0.0EV;曝光时间=1/1721秒;曝光程序=程序模式;场景类型=标准;日期=2014.11.12 14:05:03
制造商=VIVO;型号=VIVO X710L;焦距=5毫米;感光度=ISO100;曝光补偿=0.0EV;曝光时间=1/1226秒;日期=2014.11.12 14:05:24
制造商=NUBIA;型号=NUBIA Z7;焦距=4毫米;光圈=F2.0;感光度=ISO100;曝光时间=1/1428秒;日期=2014.11.12 14:05:19
制造商=APPLE;型号=IPHONE 6 PLUS;镜头=iPhone 6 Plus back camera 4.15mm f/2.2;焦距=4毫米;等效焦距=29毫米;光圈=F2.2;测光模式=模式;感光度=ISO32;白平衡=自动;曝光补偿=0.0EV;曝光时间=1/1099秒;曝光程序=程序模式;场景类型=标准;日期=2014.11.12 14:29:20
制造商=VIVO;型号=VIVO X710L;焦距=5毫米;感光度=ISO100;曝光补偿=0.0EV;曝光时间=1/1051秒;日期=2014.11.12 14:29:48
制造商=NUBIA;型号=NUBIA Z7;焦距=4毫米;光圈=F2.0;感光度=ISO100;曝光时间=1/854秒;日期=2014.11.12 14:29:40
再看一组白天的对比样张,情况类似。多帧应该还是启动了,只不过多帧更多是为了HDR、降噪[蓝天]。
多帧技术其实并不新鲜,将多帧玩得出神入化的是索尼,自从索尼的感光器能够实现高帧率连拍之后,就陆续的开发出了全景、多帧防抖、多帧降噪等实用型技术,这些技术出现一定是有技术背景的,就是感光器能够进行快速高帧率拍摄以及处理器也能处理得过来,这样的技术条件其实在手机上也在慢慢实现,甚至有机会超越相机,因为手机在可编程以及处理器方面有着绝对的优势。
iPhone 5 到 5S,摄像头最大的变化就是感光器内部带宽的改善,其中连拍速度大幅提升达到10FPS,而之前只有3.xFPS,这样的技术进步才使得多帧合成技术有了用武之地。其实苹果只不过复制了索尼曾经在相机领域做过的事情,不同的是,苹果把这些技术做的不显山露水,悄悄间就完成了,用户根本不需要了解背后到底发生了什么技术变革。
现在的主流感光器,例如IMX214,其实也具备了高速帧率的性能特点,但真正在挖掘新型感光器机型,却非常少,更多的还在秀初级参数的阶段,例如我家的相机能XX FPS高速连拍,而没有想到用这些性能去做些什么。而现在,各厂商的工程师们是时候动手了。
注:由于技术资料非常有限,不能保证全对,所以阅读时请保持将信将疑的状态,如果你是开发人员,相信这篇文章应该对你是很有意义的。