ETH计算机科学家开发了一种新的AI解决方案，该解决方案使触摸屏的感应分辨率是当前设备的八倍。借助AI，他们的解决方案可以更精确地推断出手指触摸屏幕的位置。

在智能手机上快速键入消息有时会导致在小键盘或应用程序中其他输入按钮上键入错误的字母。自2000年代中期首次在移动电话中发布以来，用于检测触摸屏上手指输入的触摸传感器并没有太大变化。

相比之下，智能手机和平板电脑的屏幕现在提供了前所未有的视觉质量，这在新一代设备中更加明显：更高的色彩保真度，更高的分辨率，更清晰的对比度。例如，最新一代的iPhone的显示分辨率为2532x1170像素。但是触摸传感器它集成后只能检测到分辨率约为32x15像素的输入，该分辨率几乎是显示分辨率的80倍：“在这里，我们想知道为什么我们在小型键盘上会犯这么多的键入错误？我们认为我们应该能够可以通过触摸选择像素精度的物体，但事实并非如此。”传感，交互与感知实验室（SIPLAB）的ETH计算机科学教授Christian Holz在ETH计算机科学系“聚光灯”系列的一次采访中说。

Holz现在与他的博士生Paul Streli一起开发了一种称为CapContact的人工智能（AI），该技术可提供超高分辨率的触摸屏，从而它们可以可靠地检测手指何时实际在何处触摸显示表面，并且精度要比当前设备高得多。做。本周，他们在ACM CHI 2021上展示了他们的新AI解决方案，这是关于计算系统中人为因素的首要会议。

识别手指触摸屏幕的位置

ETH研究人员开发了用于电容式触摸屏的AI，这是我们所有手机，平板电脑和笔记本电脑中使用的触摸屏的类型。传感器通过以下事实来检测手指的位置：传感器线之间的电场由于触摸屏幕表面时手指的靠近而改变。由于电容式感应固有地捕获了这种接近，因此它实际上无法检测到真正的接触-这足以进行交互，但是，由于所测量的触摸强度会随着手指距离的增加而呈指数下降。

Holz从未设计过电容感应来精确指出屏幕上实际发生触摸的位置，“电容感应只能检测到手指的接近程度。” 因此，当今设备的触摸屏可根据粗略的接近度测量值来插入用手指进行输入的位置。在他们的项目中，研究人员旨在解决这些普遍存在的传感器的两个缺点：一方面，他们不得不提高传感器的当前低分辨率，另一方面，他们必须找出如何精确地推断出各自的传感器。电容测量结果显示手指与显示屏表面之间的接触面积。

因此，StrContact和Holz为此目的开发的新颖方法CapContact结合了两种方法：一方面，他们将触摸屏用作图像传感器。Holz认为，触摸屏本质上是一种非常低分辨率的深度摄像头，可以看到约八毫米远的距离。深度相机不会捕获彩色图像，但会记录物体近距离的图像。另一方面，CapContact利用这种见解，通过研究人员开发的新型深度学习算法来准确检测手指与表面之间的接触区域。

Holz说：“首先，“ CapContact”估算触摸时手指与触摸屏之间的实际接触面积，其次，它以当前触摸传感器分辨率的八倍生成这些接触面积，从而使我们的触摸设备能够更精确地检测触摸。”

为了训练AI，研究人员构建了一个定制设备，该设备可以记录电容强度，即我们的手机和平板电脑记录的测量类型，并通过光学高分辨率压力传感器获得真实的接触图。通过捕获来自多个测试参与者的大量触摸，研究人员捕获了一个训练数据集，CapContact从中学习到了根据当今触摸设备的粗略和低分辨率传感器数据来预测超分辨率接触区域的信息。

触摸屏分辨率低是导致错误的原因

Paul Streli补充说：“在我们的论文中，我们证明了CapContact估计的手指与智能手机屏幕之间的接触面积，我们可以获得比当前设备更高的精确度的触摸输入位置，” Paul Streli补充道。研究人员表明，当前设备上三分之一的错误是由于低分辨率输入感应所致。CapContact可以通过研究人员新颖的深度学习方法消除这些错误。

研究人员还证明，即使手指非常靠近地触摸屏幕，CapContact仍能可靠地区分触摸表面。例如，当您在屏幕上移动拇指和食指以放大文本或图像时，使用捏合手势就是这种情况。当今的设备几乎无法区分附近的相邻触摸。

他们的项目发现现在使当前的触摸屏行业标准受到质疑。在另一个实验中，研究人员使用的分辨率甚至比今天安装在我们手机中的传感器还要低。尽管如此，CapContact能够更好地检测到触摸，并且能够以比当今常规分辨率下的当前设备更高的精度得出输入位置。这表明研究人员的AI解决方案可能为未来的手机和平板电脑中的新型触摸感应铺平道路，使其更可靠，更精确地运行，同时在传感器制造方面的占地面积和复杂性降低。

为了让其他人可以基于他们的结果，研究人员在其项目页面上发布了他们训练有素的深度学习模型，代码和数据集。