智能手机摄像头将会变得更好。
Peyman Milanfar，谷歌软件工程师，曾在计算摄影组工作，发布了一篇关于使用智能手机摄像头拍摄夜间照片的长篇分析同样质量的昂贵的单反。
Milanfar的帖子记录了他对用智能手机拍摄高质量夜间照片的追求。单反相机在这方面做得很好，但智能手机相机却做得很差。单反相机可以在夜间拍出高质量的照片，因为它有一个非常大的传感器，可以收集更多的光线。尼康D500数码单反相机有一个2090万像素传感器的像素大小4.2µm。D500传感器相比是巨大的最高排名谷歌像素手机1.55µm与1230万像素的传感器。它还有一个大的、可调节的、精确的镜头，可以捕捉和聚焦传感器上更多的视场光线，减少视觉失真，相比于像素的受限的、固定的相机镜头组件。
捕捉更多的光线和更好的焦距是米兰福试图解决的两个智能手机相机问题。要克服实验中使用的Pixel和Nexus 6P手机硬件的限制是很困难的，但也不是不可能。这个51秒的视频解释了软件如何增强有限的光线。
Milanfar解决了夜间拍照的问题，他编写了一个相机应用程序，可以手动控制相机设置:
- 曝光时间:胶片或数字传感器曝光的时间长度
- ISO:测量图像传感器的灵敏度
- 对焦距离:相机可以对焦的距离范围
曝光时间和ISO设置会影响曝光量。Milanfar将曝光时间设置为异常长的4秒，并将ISO设置为非常敏感的1600。三脚架是必要的，以隔离手机相机从手持抖动。他将焦点距离设为无穷大。
他拍了32张突发照片，然后盖住镜头，又拍了32张全黑的帧。对突发图像进行处理，计算所有像素点的平均值，去除颗粒性。黑色框架用于去除由于传感器缺陷而引入的模糊网格图案。
用这个方法制作的雷耶斯灯塔的图像质量非常好。
谷歌
作为参考，下图是用HDR+手持手机拍摄的同一场景。在Photoshop中，插入的矩形被点亮，以大致匹配之前的图片。
谷歌
Milanfar通过他记录的实验用更极端的镜头挑战了自己，包括在一个晴朗的黑夜里的夜间星星，由于他设法用计算摄影方法消除了很长时间的曝光，在图像中留下了痕迹。如果有一个结论，一个有才华的软件工程师可以编写软件来增强图像，以提高用手机摄像头拍摄的图像的质量。在没有三脚架的情况下，永远不可能拍摄例子中使用的图像，但机器学习可以提供用手机拍摄的大大改善的照片。
将机器学习应用于照片
快速、准确的图像超分辨率(RAISR)是去年11月由谷歌在一篇研究论文中介绍的。它使用机器学习技术来生成高质量的低分辨率图像。图像比超分辨率方法更好，处理速度快10到100倍。RAISR足够快，可以在典型的移动设备上实时运行。
RAISR是一个机器学习模型，使用低分辨率和高分辨率图像进行训练，学习完成低分辨率图像，使其看起来像高分辨率图像。下图显示了RAISR如何增强低分辨率图像，使其看起来像高分辨率图像。
谷歌
这是一个添加缺失像素的过程，与修复艺术家修复一件艺术品没有太大区别。重要的一点是，机器学习模型可以通过训练来增强各种低质量的图像，因为分辨率，太少的光，因为不正确的曝光时间，或ISO设置或焦距设置。该技术仍处于研究论文阶段;因此，这项技术在消费者手机上应用可能还需要一段时间。
机器学习模型通常运行在强大的GPU集群上，现在已经适应了在智能手机上运行的各种技术。Facebook应用机器学习小组(Applied Machine Learning group)的相机效果平台就是一个很好的例子。本月早些时候，该公司在F8开发者大会上展示了该平台，该平台使用一种名为同步定位和映射(同步定位和映射)的机器学习技术，将2D图像转换为3D图像。Slam只用一个智能手机摄像头就能识别飞机并估算空间大小。下面这段1分钟21秒的视频演示了一个简单的智能手机摄像头如何以与人大致相同的方式识别视场深度。
通过将图像分解成像素来理解图像的研究可以追溯到30年前的贝尔实验室。纽约大学(NYU)、多伦多大学(University of Toronto)、蒙特利尔大学(University of Montreal)、斯坦福大学(Stanford)和其他顶级商学院的研究，得到了亚马逊(Amazon)、谷歌和Facebook的高度关注和巨额预算。机器学习工作。
按主题和图像编辑特性分类的谷歌照片演示了这一点。Snapchat和Facebook的主题转移也是如此。这些设备大多运行速度很快，有时还会专门运行在云计算上，不过现在有一场竞赛，要让这些模型运行在手机、可穿戴设备甚至树莓派(Raspberry Pis)上。增强图像的机器学习功能到达智能手机以提高照片质量只是一个时间问题。