计算机视觉是物联网（IoT）广泛应用的基础。家庭监控系统使用摄像机为家庭成员提供家庭状况的视图。机器人和无人机使用视觉处理绘制环境地图，并在飞行中避开障碍物。增强现实眼镜使用计算机视觉将重要信息叠加到用户的视图上，汽车将安装在汽车上的多个摄像头的图像缝合起来，为驾驶员提供环绕或“鸟瞰”视图，以帮助防止碰撞。这个名单还有很多。
多年来，设备功能（包括计算能力、内存容量、功耗、图像传感器分辨率和光学）的指数级改进，提高了物联网应用中计算机视觉的性能和成本效益。这伴随着复杂软件算法的发展和完善，这些算法用于人脸检测和识别、目标检测和分类以及同步定位和映射等任务。
机器学习的兴起与挑战
最近,，人工智能的进步——特别是在深度学习方面——进一步加速了基于视觉的物联网应用的扩散。与传统的计算机视觉技术相比，深度学习为物联网开发人员在对象分类等任务中提供了更高的准确性。由于用于深度学习的神经网络是“训练”而不是“编程”的，使用这种方法的应用程序通常更容易开发，并更好地利用当今系统中可用的大量图像和视频数据。深度学习还提供了卓越的通用性，因为与计算机视觉算法相比，神经网络研究和框架可以在更广泛的用例中重用，而计算机视觉算法往往更有针对性。
但深度学习带来的好处并非没有权衡和挑战。无论是在训练阶段还是在推理阶段，深度学习都需要大量的计算资源。近期研究显示了不同深度学习模型所需的计算能力与深度学习技术的准确性之间的紧密关系。在一个基于视觉的应用程序中，从75%到80%的准确率可能需要至少数十亿的额外数学运算。
使用深度学习的视觉处理结果也取决于图像分辨率。例如，要在对象分类中获得足够的性能，需要高分辨率的图像或视频，从而增加需要处理、存储和传输的数据量。图像分辨率对于需要检测和分类远处物体的应用尤其重要，例如，企业安全摄像头。
将计算机视觉与机器学习相结合以提高性能
传统的计算机视觉和基于深度学习的方法之间存在着明显的折衷。经典的计算机视觉算法已经成熟、经过验证，并针对性能和能效进行了优化，而深度学习提供了更高的准确性和多功能性，但需要大量的计算资源。
那些希望快速实现高性能系统的人发现，将传统计算机视觉和深度学习相结合的混合方法可以提供两个方面的最佳效果。例如，在安全摄像头中，计算机视觉算法可以有效地检测场景中的人脸或移动对象。然后，通过深度学习对检测到人脸或物体的图像的较小部分进行处理，以进行身份验证或物体分类——与在整个场景中每帧使用深度学习相比，节省了大量计算资源。
在10月的嵌入式愿景欧洲会议上，我提出了一个混合视觉处理实现来自高通技术公司，该公司结合了计算机视觉和深度学习。与纯深度学习解决方案相比，混合方法在乘法累加运算方面减少了130X-1000x，帧速率提高了约10倍。此外，混合实现使用了大约一半的内存带宽，并且需要显著更低的CPU资源。对于选择实施此策略的制造商和开发人员来说，这是一个显著的性能优势。
充分利用边缘计算
就像使用纯深度学习一样，用于视觉处理的混合方法极大地利用了可用的异构计算能力在边缘．异构计算架构有助于提高视觉处理性能和功率效率，将不同的工作负载分配给最高效的计算引擎。测试实现显示，与CPU相比，在DSP上执行深度学习推断时，对象检测的延迟降低了10倍。
与基于云的实现相比，在物联网设备上运行算法和神经网络推断也有助于降低延迟和带宽需求。通过减少云存储和处理需求，边缘计算还可以降低成本，同时避免敏感或可识别数据通过网络传输，保护用户隐私和安全。
深度学习创新正在推动物联网取得令人振奋的突破，以及将这些技术与传统算法相结合的混合技术。视觉处理只是一个开始，因为同样的原理可以应用到其他领域，如音频分析。随着边缘设备变得更智能、功能更强，创新者可以开始创造前所未有的产品和应用. 这是物联网真正激动人心的时刻。