iPhone 6 Plus 防抖和多帧成像机制研究
夏昆冈 于 2014.11.22 21:04:50 | 源自:www.soomal.com | 版权:原创 | 平均/总评分:09.69/523

iPhone 6 Plus是苹果首款具有光学防抖摄像头的手机,它的实际防抖效果如何?我们认为,很好,非常好,1/4秒手持拍摄成功率也能较高,明显优于其他机型,我们好奇这其中的秘密,到底是什么样的机制让它的防抖变得出色。

我们先来看看官方的说明:“光学图像防抖动功能,协同 A8 芯片、陀螺仪和 M8 运动协处理器,测量动态数据并进行精确的镜头移动,以补救弱光条件下手部抖动带来的影响。然后再加上长、短曝光影像的融合,进一步减轻拍摄主体晃动的问题”

这段描述解释了光学防抖的基本工作流程,侦测抖动量的工作是由主处理器、协处理以及陀螺仪共同完成,然后通过调整镜头中的线圈来控制镜片的移动,完成抖动的补偿,这个过程,其实与其他手机、相机的镜头的光学防抖原理是一样的,让iPhone 6 Plus防抖变得出类拔萃的是后面这句描述,重点在于“长、短曝光”,这里面有玄机。

iPhone 5S发布时,摄像头增加了一个“自动图像防抖动功能”,这个防抖和光学防抖又有什么不同?这个防抖的原理是多帧拍摄对齐合成。

  • 多帧防抖是纯数字的防抖技术,它的基本原理是,单帧拆成多帧拍摄,然后对齐合成。苹果设定的多帧为4帧,举个栗子:假设测光得到了1/20秒,这个值对于一般人来说可能并不安全,会导致手抖,那么多帧防抖机制此时会启动,让摄像头连续拍摄4帧1/80秒的照片,当然,也可能拍摄成4张曝光时间并不等长的照片,然后对齐,对齐示意如图,多帧的交集可以合成一张不抖动的图像。

  • 多帧的意义不止防抖,在苹果官方文案中也明确的说明了,降噪也可以依赖多帧实现,原理又是怎样呢?成像的噪点其实是无序排列的,也就是说上一张这个位置的噪点可能是红噪点,而下一张同一个位置可能是绿噪点,这样就有了比较条件,可以比较容易的将噪点筛选出来,图示中的红绿点表示噪点,当然,这只是图示,不会有这么巨大夸张的噪点的,噪点重叠的区域,可以得到白点,白点则根据进一步法的算法进行猜色和插值处理,达到去除噪点的效果,这种方法对处理常见的红绿噪点很有效。

    多帧还可以用于HDR,这里不再赘述HDR的合成原理,想必大家都知道了,从iPhone 5S起,有个成像上的变化就是HDR似乎是关不掉的,暗部总会被稍稍提亮,iPhone 6 Plus的成像也继承了这个特点,应该是有个非常轻度的HDR在起作用,虽然APP单独提供了HDR选项,这个选项只是更重口味的HDR而已。

    回到iPhone 6 Plus身上,它并不只是光学防抖,而是光学防抖加多帧防抖以及多帧合成组合运用的,我们来一看一组对比样张。

    制造商=APPLE;型号=IPHONE 6 PLUS;镜头=iPhone 6 Plus back camera 4.15mm f/2.2;焦距=4毫米;等效焦距=29毫米;光圈=F2.2;测光模式=单点;感光度=ISO64;白平衡=自动;曝光补偿=0.0EV;曝光时间=1/15秒;曝光程序=程序模式;场景类型=标准;日期=2014.11.13 14:28:06
    制造商=VIVO;型号=VIVO X710L;焦距=5毫米;感光度=ISO694;曝光补偿=0.0EV;曝光时间=1/33秒;日期=2014.11.13 14:26:09
    制造商=NUBIA;型号=NUBIA Z7;焦距=4毫米;光圈=F2.0;感光度=ISO600;曝光时间=1/33秒;日期=2014.11.13 14:23:33
    制造商=APPLE;型号=IPHONE 6 PLUS;镜头=iPhone 6 Plus back camera 4.15mm f/2.2;焦距=4毫米;等效焦距=29毫米;光圈=F2.2;测光模式=单点;感光度=ISO50;白平衡=自动;曝光补偿=0.0EV;曝光时间=1/30秒;曝光程序=程序模式;场景类型=标准;日期=2014.11.13 17:48:43
    制造商=VIVO;型号=VIVO X710L;焦距=5毫米;感光度=ISO100;曝光补偿=0.0EV;曝光时间=1/33秒;日期=2014.11.13 17:48:20
    制造商=NUBIA;型号=NUBIA Z7;焦距=4毫米;光圈=F2.0;感光度=ISO200;曝光时间=1/33秒;日期=2014.11.13 17:48:56
    制造商=APPLE;型号=IPHONE 6 PLUS;镜头=iPhone 6 Plus back camera 4.15mm f/2.2;焦距=4毫米;等效焦距=29毫米;光圈=F2.2;测光模式=单点;感光度=ISO80;白平衡=自动;曝光补偿=0.0EV;曝光时间=1/4秒;曝光程序=程序模式;场景类型=标准;日期=2014.11.13 15:01:16
    制造商=VIVO;型号=VIVO X710L;焦距=5毫米;感光度=ISO700;曝光补偿=0.0EV;曝光时间=1/14秒;日期=2014.11.13 14:55:38
    制造商=NUBIA;型号=NUBIA Z7;焦距=4毫米;光圈=F2.0;感光度=ISO900;曝光时间=1/14秒;日期=2014.11.13 15:02:50
    制造商=APPLE;型号=IPHONE 6 PLUS;镜头=iPhone 6 Plus back camera 4.15mm f/2.2;焦距=4毫米;等效焦距=29毫米;光圈=F2.2;测光模式=单点;感光度=ISO64;白平衡=自动;曝光补偿=0.0EV;曝光时间=1/15秒;曝光程序=程序模式;场景类型=标准;日期=2014.11.13 17:34:51
    制造商=VIVO;型号=VIVO X710L;焦距=5毫米;感光度=ISO400;曝光补偿=0.0EV;曝光时间=1/33秒;日期=2014.11.13 17:35:29
    制造商=NUBIA;型号=NUBIA Z7;焦距=4毫米;光圈=F2.0;感光度=ISO600;曝光时间=1/33秒;日期=2014.11.13 17:35:12
    制造商=APPLE;型号=IPHONE 6 PLUS;镜头=iPhone 6 Plus back camera 4.15mm f/2.2;焦距=4毫米;等效焦距=29毫米;光圈=F2.2;测光模式=单点;感光度=ISO320;白平衡=自动;曝光补偿=0.0EV;曝光时间=1/4秒;曝光程序=程序模式;场景类型=标准;日期=2014.11.13 17:55:44
    制造商=VIVO;型号=VIVO X710L;焦距=5毫米;感光度=ISO3000;曝光补偿=0.0EV;曝光时间=1/10秒;日期=2014.11.13 17:56:28
    制造商=NUBIA;型号=NUBIA Z7;焦距=4毫米;光圈=F2.0;感光度=ISO3100;曝光时间=1/20秒;日期=2014.11.13 17:57:34

    这组样张采用了3台支持光学防抖的机型拍摄,除了iPhone 6 Plus之外还有vivo Xshot以及nubia Z7。iPhone 6 Plus 光圈 F2.2,Xshot为F1.8,Z7是F2.0,为什么要强调光圈?请各位留意曝光时间和感光度参数。你会发现iPhone 6 Plus的光圈最小,自动感光度却往往是最低的,曝光时间是最长的,这似乎很好理解,为了画质。

    如果细心一点,会发现iPhone 6 Plus的曝光量与另外两款明显不同,曝光量由光圈、快门时间决定,而感光度则是曝光效率,这3个值决定了最终的曝光量,你会发现,iPhone 6 Plus的曝光量明显更小,曝光差异甚至接近2EV,但iPhone 6 Plus的画面没有出现曝光异常。

    可以认为,这是多帧合成技术导致的“参数异常”。iPhone 6 Plus 将单帧拆解成了4帧,而且每一帧的曝光参数并不一样,例如感光度和曝光时间都不一样,用低感光度和相对较长的曝光时间获得基础帧,用中等曝光参数获得矫正帧,用过曝的参数获得HDR的修正数据和部分噪点副本,苹果将这样的处理简单的解释为了“长、短曝光影像的融合”。合成的结果,曝光时间是时间总长,而感光度则可能使用了最低的那一帧,因此得出“异常的参数”。

    看到这里,你或许困惑,光学防抖的意义到底体现在哪儿?我们查看了一下拍摄的大量样张,iPhone 6 Plus的最长快门时间为1/4秒,这对光学防抖的镜头来说其实也是不安全的,按照苹果的说法,多帧防抖是4帧合成,那么1/4秒可以拆解成平均1/16秒一帧,而1/16秒对光学防抖来说,是比较安全的,这就是光学防抖的意义。其实精髓,仍旧在多帧技术上。

    制造商=APPLE;型号=IPHONE 6 PLUS;镜头=iPhone 6 Plus back camera 4.15mm f/2.2;焦距=4毫米;等效焦距=29毫米;光圈=F2.2;测光模式=模式;感光度=ISO32;白平衡=自动;曝光补偿=0.0EV;曝光时间=1/3049秒;曝光程序=程序模式;场景类型=标准;日期=2014.11.12 13:25:41
    制造商=VIVO;型号=VIVO X710L;焦距=5毫米;感光度=ISO100;曝光补偿=0.0EV;曝光时间=1/2035秒;日期=2014.11.12 13:24:55
    制造商=NUBIA;型号=NUBIA Z7;焦距=4毫米;光圈=F2.0;感光度=ISO100;曝光时间=1/1876秒;日期=2014.11.12 13:26:19
    制造商=APPLE;型号=IPHONE 6 PLUS;镜头=iPhone 6 Plus back camera 4.15mm f/2.2;焦距=4毫米;等效焦距=29毫米;光圈=F2.2;测光模式=模式;感光度=ISO32;白平衡=自动;曝光补偿=0.0EV;曝光时间=1/1163秒;曝光程序=程序模式;场景类型=标准;日期=2014.11.12 13:28:27
    制造商=VIVO;型号=VIVO X710L;焦距=5毫米;感光度=ISO100;曝光补偿=0.0EV;曝光时间=1/1087秒;日期=2014.11.12 13:28:38
    制造商=NUBIA;型号=NUBIA Z7;焦距=4毫米;光圈=F2.0;感光度=ISO100;曝光时间=1/854秒;日期=2014.11.12 13:28:59
    制造商=APPLE;型号=IPHONE 6 PLUS;镜头=iPhone 6 Plus back camera 4.15mm f/2.2;焦距=4毫米;等效焦距=29毫米;光圈=F2.2;测光模式=模式;感光度=ISO32;白平衡=自动;曝光补偿=0.0EV;曝光时间=1/1721秒;曝光程序=程序模式;场景类型=标准;日期=2014.11.12 14:05:03
    制造商=VIVO;型号=VIVO X710L;焦距=5毫米;感光度=ISO100;曝光补偿=0.0EV;曝光时间=1/1226秒;日期=2014.11.12 14:05:24
    制造商=NUBIA;型号=NUBIA Z7;焦距=4毫米;光圈=F2.0;感光度=ISO100;曝光时间=1/1428秒;日期=2014.11.12 14:05:19
    制造商=APPLE;型号=IPHONE 6 PLUS;镜头=iPhone 6 Plus back camera 4.15mm f/2.2;焦距=4毫米;等效焦距=29毫米;光圈=F2.2;测光模式=模式;感光度=ISO32;白平衡=自动;曝光补偿=0.0EV;曝光时间=1/1099秒;曝光程序=程序模式;场景类型=标准;日期=2014.11.12 14:29:20
    制造商=VIVO;型号=VIVO X710L;焦距=5毫米;感光度=ISO100;曝光补偿=0.0EV;曝光时间=1/1051秒;日期=2014.11.12 14:29:48
    制造商=NUBIA;型号=NUBIA Z7;焦距=4毫米;光圈=F2.0;感光度=ISO100;曝光时间=1/854秒;日期=2014.11.12 14:29:40

    再看一组白天的对比样张,情况类似。多帧应该还是启动了,只不过多帧更多是为了HDR、降噪[蓝天]。

    多帧技术其实并不新鲜,将多帧玩得出神入化的是索尼,自从索尼的感光器能够实现高帧率连拍之后,就陆续的开发出了全景、多帧防抖、多帧降噪等实用型技术,这些技术出现一定是有技术背景的,就是感光器能够进行快速高帧率拍摄以及处理器也能处理得过来,这样的技术条件其实在手机上也在慢慢实现,甚至有机会超越相机,因为手机在可编程以及处理器方面有着绝对的优势。

    iPhone 5 到 5S,摄像头最大的变化就是感光器内部带宽的改善,其中连拍速度大幅提升达到10FPS,而之前只有3.xFPS,这样的技术进步才使得多帧合成技术有了用武之地。其实苹果只不过复制了索尼曾经在相机领域做过的事情,不同的是,苹果把这些技术做的不显山露水,悄悄间就完成了,用户根本不需要了解背后到底发生了什么技术变革。

    现在的主流感光器,例如IMX214,其实也具备了高速帧率的性能特点,但真正在挖掘新型感光器机型,却非常少,更多的还在秀初级参数的阶段,例如我家的相机能XX FPS高速连拍,而没有想到用这些性能去做些什么。而现在,各厂商的工程师们是时候动手了。

    注:由于技术资料非常有限,不能保证全对,所以阅读时请保持将信将疑的状态,如果你是开发人员,相信这篇文章应该对你是很有意义的。

    请评分
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    03
    发表于2015.02.26 12:27:18
    79
    060.220.105.***
    060.220.105.***
    发表于2015.02.24 18:48:01
    78
    10
    77
    我用的是Lumia 1520,在更新了Denim固件之后使用新的专业拍摄会有一项叫丰富连拍的功能。用这功能拍摄照片之后相片会在后台用几秒钟时间合成,之后可以手动线性调节HDR程度,从正常曝光到非常浓重的HDR。按快门那一瞬间图像会快速停顿三下,如果没看错的话应该是多了一张不足的和一张过曝的。另外环境黑暗的时候HDR效果会变成长短曝光的选项,也是能调节的。
    Denim在拍摄上带来的变化还是挺多的,如果小编们能够感兴趣研究一下就好啦
    发表于2015.02.23 23:17:16
    76
    110.087.251.***
    110.087.251.***
    发表于2015.02.17 18:13:55
    75
    111.206.165.***
    111.206.165.***
    发表于2015.02.13 20:22:18
    74
    183.026.171.***
    183.026.171.***
    发表于2015.02.06 18:48:17
    73
    117.136.000.***
    117.136.000.***
    发表于2015.01.20 17:07:55
    72
    182.136.118.***
    182.136.118.***
    发表于2015.01.07 22:45:08
    71
    061.048.036.***
    061.048.036.***
    发表于2014.12.10 17:20:31
    70
    03
    难怪苹果一直在像素方面止步不前。因为4帧照片合并成一张,等于是在同时处理四张800万像素的图片(可以简单粗暴理解成3200万像素了吗?)如果它跟进时代弄个2000万像素的摄像头,估计一下子处理4张也会卡爆的。也难怪为什么每次看苹果同场景的照片EXIF都觉得很邪门。
    发表于2014.12.10 10:09:27
    69
    220.163.112.***
    220.163.112.***
    发表于2014.12.02 10:13:59
    68
    03
    国产厂商在技术上还需要多研究研究啊。
    发表于2014.12.01 22:20:40
    67
    03
    即使是1300W的IMX135/214,单帧数据量就高出了快六成,这样哪怕是A8必然都是吃不消的。
    发表于2014.11.30 20:52:42
    66
    124.226.174.***
    124.226.174.***
    发表于2014.11.28 12:14:17
    65
    171.214.237.***
    171.214.237.***
    发表于2014.11.27 17:58:29
    64
    061.135.160.***
    061.135.160.***
    发表于2014.11.26 08:29:43
    63
    183.238.050.***
    183.238.050.***
    发表于2014.11.26 03:04:44
    62
    058.155.215.***
    058.155.215.***
    发表于2014.11.25 17:08:57
    61
    114.255.***.***
    114.255.***.***
    真要说有资格做同样事情的公司,体量若小了对软硬件的控制力都会不足,所以差不多也只有三星、索尼他们俩了,最多加个精研相机的前诺基亚。至于只涉足产业链表层的一众国内公司,以其控制力最多也只能获得一些靠近表层的“程序员的胜利”,就像中兴在玩的那种,而这世上单靠通用型程序员做不到的事情是很多的……但要说让每家做手机的公司都养一大票人自己弄一套图像技术,似乎也不现实、没有效率,希望以后这方面能有通用解决方案吧。
    发表于2014.11.25 15:59:04
    60
    提示
    本贴不可匿名回复,回复等级为:1 ,您现在正处在潜水状态
    回复
    验证码
    4185 为防止广告机贴垃圾,不得已而为之
    表情
    正文