随着战争进入一个新的时代,军事战略家用无人驾驶飞机系统(UAS)或无人机,以提供新的战斗环境所需的视觉监控。在城市战争中,抵抗力和反恐特派团通常发生,部队依赖于智力,监测和侦察(ISR)持续空气监测,精密空气罢工和Swift Airlift支持。ISR部队能够扫描宽区域,检测活动,在一次关键地点凝视为几个小时和日子,并在几分钟内完成目标周期。

“捕食者”和“收割者”上的前向摄像机的侦察能力,被称为“MTS球”或MQ-16光电/红外摄像机,可以在20,000英尺以上读取驾驶执照。

机器人,特别是UASs,正在改变战争的本质。无人驾驶飞机系统也被称为无人机或无人驾驶飞行器(UAV)。它们被美国空军称为远程驾驶飞机(RPA)。UASs可以直接向附近的地面控制站发送信号,或通过卫星向全球的指挥中心广播。

负责UAS突破性能力的关键支持技术以及随后的战争转型是全动态视频(FMV)。FMV提供了一种不需要的特写视图,其无法否则可能是可能的。它使指挥官能够从安全距离中做出决定并执行任务,而不危及其部队的生命。实际上,没有FMV从飞机的船上相机,飞行员将无法从地面远程导航寄生虫。

全动态视频为图像增加了第四维度:随着时间的推移跟踪活动的能力。FMV提供出色的事件保真度,无缝事件进展,以及有关正在观看的地点的性质的完整背景。

利用FMV提供的全部好处需要克服一些挑战。首先,广播FMV的带宽要求,尤其是高清晰度(HD)是巨大的。其次,从任务中保留纯粹体积的数字存储空间的数量是惊人的。第三,观察,分析和传播镜头参与的人力努力是压倒性的。第四,最重要的是,捕获的图像的质量和清晰度往往很糟糕,无法明确识别目标。

当前FMV图像质量不一致

在移动平台上生产高质量的图像,例如UAS由于其运动和所产生的图像观点而构成了一些有趣的挑战。The quality of the video imagery can be compromised by narrow camera field-of-view, datalink degradations, poor environmental conditions (e.g., dawn/dusk/night, adverse weather, variable clouds), bandwidth limitations, or a highly cluttered visual scene (e.g., in urban areas or mountainous terrain).

鉴于这些问题的重量,欢迎新解决方案的出现。幸运的是,最近的技术进步现在可以实际提高FMV的图像质量,并解决这些压迫问题。现在可以应用于静止图像的各种复杂的图像增强算法,现在可以应用于FMV。图像处理算法是计算密集的,特别是FMV。必须处理每秒30帧的多个视频流,必须处理零延迟。这样做的唯一方法就是一个能够高功率并行处理的先进平台。现在可以使用开放式架构算法的商业现成(COTS)平台,以实时增强FMV图像质量。该平台旨在满足诸如无人机等应用的要求,并且可以容纳多个视频输入流,并将其路由到附加显示器或网络连接的任何组合。

任何图像 - 任何地方

图像处理算法可以(顺时针,从左上角)照亮或使黄昏和黎明观察变暗;去吸收雾,烟和沙尘暴环境的图像;阐明具有对比度增强的图像,不断适应变化亮度和对比度;并识别异常形状并突出细节。

一个新的概念,任何形象 - 任何地方(AIA)系统都结合了图像增强算法,超快速现场可编程门阵列(FPGA)并行处理平台,以及灵活,可扩展,打开的高速视频切换矩阵建筑学。AIA系统可容纳多个视频输入流,并将其路由到附加显示器或网络连接的任何组合。可以同时呈现多个图像流在单独的LCD显示器上:例如,可以使用一个作为全屏中的主图像以及作为图片In-In-In-In-Pick-In-In窗口流的主图像来支持四个摄像机。操作员可以使用触摸屏用户界面打开或关闭图像功能,或交换主和PIP Windows。AIA系统实时地执行图像增强算法,以便实时视频监控源,例如适用于uass的实时视频监控源,并提供关键任务应用程序所需的性能,灵活性和坚固性。

例如,在该领域中,AIA系统可以安装在UAS接地控制站(GCS)处,以将图像增强和边缘检测算法应用于传入的视频流。图像增强算法将从图像的可见度或大气干扰差的图像中提出细节。边缘检测算法将识别异常形状并突出监测和炸弹损伤评估的细节(BDA)。

图像增强的起源

虽然实时增强的视频能力是新的,但许多所涉及的算法已经定期用于软件应用中的静止图像处理,例如Vitec电子灯表(ELT)或Adobe Photoshop。这些算法是计算密集型的,并且Photoshop等应用程序通常会推动它们在后处理单个图像后运行的通用平台的限制。实时处理FMV的能力需要一个非常快的处理器,能够同时处理多个输入流。

新一代fpga可以满足增强FMV的苛刻性能要求。与其他处理器相比,fpga的优势在于其无与伦比的并行处理能力。fpga可以从任意数量的数据路径和操作中获益,最高可达到设备容量的限制。更大的FPGA设备能够同时对不同宽度的数据执行数百甚至数千次操作。与专用处理器相比,fpga的内部时钟频率更低,由于可实现的高度并行化,fpga提供了更好的性能。

和fpga一样快的是,实现实时FMV所需的零延迟的目标需要一些独创性。诀窍是根据第一帧计算必要的调整,然后将其应用到下一帧,以此类推。下一帧的计算与当前帧的处理并行进行,因此没有引入延迟。因为连续帧之间的差异很小,调整仍然适用。

图像处理算法是提高FMV图像清晰度和有用性的关键技术。AIA系统托管图像增强算法的集合。在其他平台上运行的大量算法也可以移植到AIA系统。开放式架构系统,发布了用于创建和安装算法的所有必要接口。该体系结构允许在不中断系统的情况下安装新算法。除了图像增强算法之外,还有整流算法对相机角度进行校正;将多个图像组合成单个统一图像的马赛克或拼接算法;并编码/解码和压缩/解压缩算法,使图像数据传输和存储更有效。

在AIA系统内

设计满足部署的军事应用的需要,AIA系统带来了一个新的水平的性能和实时FMV的能力。复杂的图像流并行处理、点播视频矩阵切换,以及在单个显示器上显示和操作多个流的能力,为任务成功提供了高质量和可靠的图像。

AIA系统包括用于视频输入(VIP),视频输出(VOP)和算法处理的单独热插拔模块,即插入紧凑型和轻质对接湾中包含的高速开关面料。对于4U形状因子的对接托架可以适应最多18个模块的组合,并为两个热插拔和冗余的负载电源提供专用插槽。所有模块都是前负载,整个系统,包括结构开关,可以配置故障转移。

AIA系统可以容纳多个视频输入流,并将它们路由到任何附加显示器或网络连接的组合。每个视频输入和输出模块有三个DVI-D (HDMI)连接器,分别支持三个输入或输出图像流。每个算法模块支持3个输入流和3个输出流,它们通过交换网络连接。

交换结构用作视频矩阵开关,允许任何视频输入路由到任何视频输出,包括多个输出。视频输入可以路由到任何算法模块或算法的任何组合。此外,每个算法模块都有两个外部以太网连接,用于向网络查看器发送视频流。此外,USB连接与每个视频连接相关联,以实现KVM和触摸面板支持。

AIA系统是一个灵活的解决方案,一旦部署,仍然可以配置和重新配置,以满足随时变化的需求。各个查看者可以在任何时候交互地定制各种显示上的视图。视频流可以按需重新路由。在系统中安装了算法之后,从所有实际用途来看,它们都是硬件的一部分。显示器上的“虚拟按钮”允许用户通过与系统硬件直接交互而不需要软件来控制系统和重新配置。该系统的大部分灵活性是使用FPGA设计的结果。除了可编程性,FPGA还允许很高程度的硬件集成。

来自无人机系统的实时全动态视频已经成为军事和情报行动不可或缺的一部分。高质量的图像是任务成功的关键。今天,不一致的质量和图像退化是一个问题,需要立即采取行动。

本文由圣地亚哥Z微系统公司的Jack Wade和Pauline Shulman撰写这里


成像技术杂志

本文首次发表于2010年9月号成像技术杂志。

阅读此问题的更多文章在这里

阅读更多来自档案馆的文章在这里