近年来，计算机科学家和机器人专家已经开发出了多种技术工具，可以在关键任务（例如军事行动或搜救行动）中协助人类特工。在这种情况下，无人驾驶飞机（UAV）已被证明特别有价值，因为它们通常会进入人类无法进入的偏远或危险区域。

蒙特利尔理工大学的研究人员最近开发了一种新系统，用于控制在关键任务期间部署的无人机。该系统在ArXiv上预先发表的论文中提出，它基于增强现实（AR）界面，允许用户通过头戴式显示器（HMD）控制无人机。

“我们的研究是由工业公司Humanitas Solutions Inc.与Benoit Ozell教授指导的蒙特利尔理工大学计算机图形和虚拟现实（LIRV）研究实验室之间的合作而诞生的，”该论文的合著者Dany Naser Addin ，通过电子邮件告诉TechXplore。“我是研究硕士的学生，这篇论文是我过去两年的研究成果。”

Naser Addin及其顾问Benoit Ozell进行的研究的总体目标是探索新技术（尤其是AR）在紧急情况下帮助人类的潜力。为研究人员提供了与定期与蒙特利尔消防员进行面谈的人员紧密合作的机会（SIM –蒙特利尔服务局），以了解新技术如何为他们的工作提供帮助。

纳瑟·阿丁说：“我们研究的目的是通过在火灾相关的紧急情况下使用单个AR头戴耳机管理大量无人机来支持这些消防员在蒙特利尔的工作。” “为此，我们使用Magic Leap 1耳机设计了一个AR接口，该接口可用于在压力很大的情况下管理大量无人机。我们的目标是评估AR是否可以成为关键飞机未来的重要工具情况。”

由Naser Addin和Ozell设计的用户界面（UI）在用户眼前呈现与火灾及其位置有关的上下文信息。该信息以3D环境的形式显示，该环境投射在用户在任何给定时刻实际看到的东西之上（即，以他/她的真实视觉）。

研究人员设计的系统最终允许用户通过Magic Leap 1耳机实时控制大量无人机。为了在关键任务期间监视和控制无人机，用户只需要与通过头戴式耳机提供给他们的3D环境进行交互即可。

“我们开发的技术可以带来巨大的信息流，可能会使用户超负荷，因此必须以最佳方式进行过滤，以提高用户的态势感知并帮助他/她有效地了解当前情况。”纳赛尔·阿丁（Naser Addin）说。

与先前提出的在关键任务期间控制无人机的解决方案相比，Naser Addin和Ozell提出的系统是免提的。这意味着它使用户可以专注于自己的视觉，而不必同时使用他们的手并以视觉方式监视情况。

研究人员通过一系列实验对他们的系统进行了评估，他们要求人们使用他们提供的耳机或台式计算机来解决复杂而关键的任务。他们的发现强调了AR技术在关键情况下的优势，并证实了他们开发的UI的潜力。

纳瑟·阿丁说：“新兴技术带来了新的研究，测试和实验，以改善某些用例，从而降低了人类任务的复杂性。” “如今，AR在用于多种营销或娱乐目的的移动设备中很常见。将其与野外耳麦结合使用或用于实际应用可能会带来巨大的进步。例如，美国希望为其配备军事资源。”

将来，由纳赛尔·阿丁（Naser Addin）和奥泽尔（Ozell）开发的基于AR的系统可以在各种关键任务中协助人类特工，使他们能够用自己的视野控制无人机群，而无需在计算机上打字或使用常规控制器。如果与红外技术结合使用，当消防员或武装部队无法查看周围环境时（例如，当它们被火或爆炸产生的烟雾包围时），消防员或武装部队也可以使用它来监视其周围环境并控制无人机。

纳瑟·阿丁说：“不幸的是，由于当前的大流行情况，我们推迟了与消防员一起测试和部署我们的应用程序，因此我们被迫使我们的实验适应当前情况。” “一旦大流行结束，我们打算与消防员进行一些测试。当然，我们还将继续研究和开发AR技术在医疗，外科手术，飞机虚拟驾驶舱以及其他协作等各个应用领域中的类似应用环境。”