由图森亚利桑那大学的胡明浩和杭州西湖大学的吴宗亮领导的一个国际研究小组进行了多维计算成像实验，将经典的快照压缩成像系统与他们提出的系统进行了比较，该系统涉及多尺度manifold采样和神经减压。他们发现，他们的方法达到了相当的图像质量，并且由于人工神经网络处理能力的预期进步，这种方法具有很强的前景。
该小组的研究发表在8月16日的科学伙伴杂志《智能计算》上。
摄像头和其他传感器可以用来捕获丰富的数据，但是数据越精确，数据就越难以管理，难以捕获、存储和处理。解决方案是采样，也就是说，对目标进行有策略间隔或屏蔽的快照，并利用数据中计算上可猜测的相关性，将它们组合起来，以获得接近原始的东西。面临的挑战是做出明智的权衡，以便设置和操作是可管理的，并且结果是高质量的，尽管被压缩。
在快照压缩成像技术的集合中，编码孔径快照光谱成像仪专门用于捕获颜色信息，编码孔径压缩时间成像仪专门用于视频。这些被称为CASSI和CACTI的系统可能会被依赖神经网络进行图像重建的方法所掩盖。
神经网络使系统更紧凑，更容易实现，因为它们以更广义的方式进行优化，允许更简单的采样类型，如多尺度流形采样。
casi风格的“隔行”采样就像在摄影中使用彩色滤光片，而多尺度流形采样更像立体对成像，可以在相机阵列上实现，具有灵活性和可扩展性。这种相机阵列甚至可以在拍摄图像时进行编程。
研究人员的多尺度流形采样系统使用一种称为“变压器”的神经网络来处理视觉数据。特别地，它是一个物理感知的变压器网络，因此该系统被称为PAT。
研究人员使用模拟数据比较了PAT和CASSI在九种颜色波段上的成像。他们的定量分析表明，两种方法各有优缺点:PAT图像在结构相似性方面得分较高，CASSI图像在峰值信噪比方面得分较高。
他们还使用模拟数据比较了PAT和CACTI的视频。这两个系统取得了类似的结果，但PAT系统更容易和更便宜的设置。
此外，研究人员通过成功重建两个场景来证明PAT。其中一幅以高分辨率灰度和低分辨率彩色拍摄，另一幅用四摄像头阵列拍摄，拍摄了三种颜色和纹理。
/公开发布。来自原始组织/作者的材料可能具有时点性质，并根据清晰度，风格和长度进行了编辑。海市蜃楼。新闻不受机构限制
所有的位置或侧面，以及所有的视图、位置等
此处表达的结论仅代表作者的观点。点击此处查看全文。
<
