人工智能实验室如何利用计算机视觉技术监测医院?

雷锋注：本文是哈克和郭美儿在《斯坦福大学人工智能实验室博客》中翻译的，主要介绍斯坦福大学人工智能实验室如何利用计算机视觉技术监测医院洗手情况，改善医院卫生状况。  

每年死于医院感染的人比死于车祸的人多，这意味着当你被送进医院时，有三分之一的可能性你的健康会恶化，这非常令人担忧。  

幸运的是，医院可以通过改善卫生条件扭转这种局面。无论是在医院、机场还是餐馆等公共场所，手部卫生都是防止传染病传播的第一道防线，这只是一个简单的常识。保持警惕事实上，许多技术都可以解决这个问题，最简单和最常用的是使用计算机视觉技术来检测人们是否洗手。  

斯坦福大学人工智能辅助护理中心的伙伴关系和来自世界各地的许多合作伙伴已经开发这项技术很多年了。尽管还有许多工作要做，我们希望这项技术能够帮助医院降低感染率和改善患者健康。  

医院将通过医学课程、公告栏上的海报和每周员工会议加强手卫生教育。世界卫生组织甚至提出了手卫生的五个主要时刻，明确规定医务人员洗手的时间。确认手卫生的实施，医院使用RFID卡或员工徽章来跟踪手卫生。在某种程度上，这些工具确实有用，但是也存在工作流中断，例如当员工进入新房间时，肥皂盒将被刷到RFID卡上。一个技术问题：一般的RFID技术覆盖的距离较短，而长距离的有源RFID也受到定向天线的限制，需要电池，显然，需要一种没有RFID技术缺陷的新解决方案。  

我们与斯坦福大学的LucilePackard儿童医院合作，开发了一种跟踪手部卫生的新的先进方法：它使用尖端的计算机视觉技术，不需要临床医生干预日常工作。在医学成像领域中，在医院的物理空间中并没有太多的应用，幸运的是，计算机视觉已经应用于物理空间的另一个领域：自驾车、自驾车、使用大量传感器来理解环境等等。我们可以在医院使用这些传感器来更好地了解医疗环境吗  

深度传感器（如XboxKinect）与普通相机类似，但它们不记录颜色，而是记录距离。在普通彩色图像中，每个像素代表一种颜色；在深色图像中，每个像素代表真实世界中像素和传感器之间的距离，通常是fl。ooT点数，比如1.337米。  

（左）用手机拍摄的医院彩色照片。（右）由天花板上的传感器拍摄的深度图像。颜色越深，物体越靠近深度传感器。  

在上面的深度图像中，你可以看到人们在做什么，即使你看不到他们的脸。这保护了我们用户的隐私，这在医院中非常重要。为了证明和发展我们的计算机视觉技术，我们在两个医院的天花板上安装了深度传感器。一个是儿童心血管病房，另一个是成人重症监护病房。  

通过在两家医院安装深度传感器，我们可以使用3D计算机视觉工具自动监测手部卫生。这包括三个步骤：  

为了继续进行自动驾驶的类比：为了理解环境，首先要做的是检测人。有很多对象检测方法，但是大多数都是针对彩色RGB图像开发的。问题：通常情况下，人们只占据了给定房间的图像中的少量空间；此外，在深层图像中，人们通常看起来像水滴，和地板背景。差异是明显的。  

检测人的一种方法是确定地面上的占用网格图，它是用来指示人是否占用地面上的特定位置的二进制矩阵。每个水滴大致等于网格中的人。我们可以在地面上的每个点创建包含水滴的字典（记住：因为我们人工合成这些水滴，我们知道它们准确的2D和3D位置）。对于多人场景，我们可以呈现多个水滴。在测试过程中，我们需要一个水滴图像，它可以通过任何前景/背景减法或目标分割算法来实现。现在，给定测试中的水滴图像，我们可以在字典中执行K-最近搜索来找到每个w的位置。液滴  

为了建立一个真正智能化的医院，我们需要在医院病房内使用传感器。因为不是所有的事情都发生在传感器前面，我们还需要算法来跟踪不同传感器前面的人。这不仅可以提供手卫生实施的细节，而且是通常，我们希望找到一系列轨迹集X，其中x<X中的每个轨迹X表示一组检测序列，而L_x=(l_x^{(1)}，...，l_x^{(n)}表示检测到的行人坐标。最大后验（MAP）估计问题。  

接下来，我们假设一个马尔可夫链模型，它用给定的概率P(l_x^{(i+1)}|l_x^{i}将轨迹X中的每个中间检测l_x^{(i)}与后续检测l_x^{(i+1)}连接。计算成本C。  

其中，f_i是表示对应检测是否为真的业务变量，f_ij表示对应检测是否链接在一起。为简单起见，我们假设所有检测具有相同的概率，这等价于过程优化问题，可以通过K-最短路径实时求解。  

到目前为止，我们已经确定了病房内所有行人的轨迹（例如，全球医院病房的地面位置）。最后一步是检测手部卫生并将其与特定轨道连接。然后我们将每个行人的轨迹标记为干净或不干净。  

在实际环境中，传感器的部署常常受到安装限制。无论是有意还是无意，由施工和维护技术人员安装的传感器的角度和位置都不同，这意味着我们的模型必须对这些变化具有鲁棒性，以便由于传统的卷积神经网络（CNN）的视角并不总是相同的，我们使用空间变换网络（STN）来代替。  

（左）人类分割的数据扩展阶段。（右）手部卫生行为分类：空间变换加密集卷积神经网络。  

STN的输入是随机图像，输出是畸变图像。为了帮助模型更快地学习，我们还为STN提供了人体分割，如人体膜。这种膜可以用经典的前景-背景技术或深度学习方法来提取。STN畸变将图像转换为学习透视不变形式。从这个失真的图像中，我们使用一个标准的CNN（例如，DenseNet）对是否使用洗手液进行二进制分类。  

此时，我们仍然需要将轨迹集和单个手部卫生测试集相结合，该测试集引入了两个新变量：空间和时间。对于每个手部卫生分类器测试（例如，正在使用手部消毒剂），我们必须将它匹配到单个轨道。当轨道T满足两个条件时ONS，分类器和跟踪器之间的匹配发生：  

如果存在多个轨迹来满足这些要求，则通过选择与门最近的(x，y)位置来中断连接。我们模型的最终输出是轨迹列表T，其中每个轨迹由元素阵列(t，x，y，a)的有序列表组成，其中t表示时间标记，x，y表示二维地面坐标，a表示最新的动作或事件标记，通过T，可以计算达到标准的比率或与金标准的评价指标进行比较。  

目前，许多医院利用神秘访客来衡量手卫生的实施情况。受过训练的个人在医院病房里四处走动，观察工作人员是否私下洗手。这个神秘的来访者可以是护士、医生，甚至是来访者。我们称之为秘密观察，这不同于公众对审计的观察。Ion是为了最小化霍桑效应（例如，因为有人在监视你，你改变你的行为）。如上所述，我们比较使用计算机视觉、在病房固定位置驻留的多个审计员、在病房周围行走的单个审计员和使用RFID标签。  

人工审计的效果要好得多，准确率为63%，三人效果较好，准确率可达72%。具有全局视野的系统。既然真正的标签是由人类标记的，为什么人类观察者的表现比算法差原因是，我们的真实标签只是远程标记的，不是实时标记的。远程注释器可以访问所有传感器，并按时来回播放以确保它们的注释是正确的。现场审计器不能访问所有传感器，并且不能及时回放事件。  

手部卫生检测图像在不同的时间。蓝色方块表示有人在使用洗手液。深蓝色表示更多的同时发生的事件。真正的标签显示在底部。一般来说，空白越多，结果越差。  

除了数字，更有趣的结果是视觉效果。上面的图片显示现场审计员很少检测手部卫生。你注意到所有的空白了吗如果你看一下真实标签的行，通常没有空格。这意味着观察者错过了大量的手部卫生事件。这通常是因为观察者心烦意乱：他们可能打瞌睡，在病房的其他地方看无关的活动，或者就是看不见ha。第二次卫生事件。  

最后，我们以一个动画结束。上面的动画显示了对医院病房的俯瞰。因为我们可以跟踪整个医院的人，所以我们总是知道他们的特定（x，y，z）位置。我们绘制了每个点，并创建了一个随时间变化的热图。l分析在识别交通模式和追踪潜在的疾病传播方面非常有效。这些总是黄色/红色的区域代表拥挤的空间。这些空间通常位于走廊的交叉点或患者病房的外面。如果你仔细观察，你会发现静态审计师标记为红色。  

我们展示了如何使用计算机视觉和深度学习来自动监控医院中的手部卫生。在斯坦福PAC，手部卫生只是医疗行业中的计算机视觉的一个例子。我们还正在开发一个计算机视觉系统来监控患者的运动，分析患者的运动质量。手术，检查老年人的异常情况。  

用于识别危险手卫生场景的视点不变卷积网络。郭先生，A.哈克，S.杨，J.乔卜林，L.唐宁，A.阿拉希，B.坎贝尔，K.德鲁，W.贝纳蒂，A.米尔斯坦，L.菲菲。健康机器讲习班（ML4H），神经信息处理系统（N.IPS，长滩，CA，2017年12月。  

迈向基于视觉的智能医院：追踪和监测手部卫生依从性的系统。A.哈克，郭先生，A.阿拉希，S.杨，Z.罗，A.Rege，A.Singh，J.Jo.，L.Downing，W.Ben.i，T.Platchek，A.Milstein，L.Fei-Fei.MachineinHealth..(MLHC)，波士顿，M.A，美国，2017年8月。  

基于视觉的手部卫生监测在医院.S.杨，A.阿拉希，Z.罗，B.彭，A.Haque，A.Singh，T.Platchek，A.Milstein，L.Fei-Fei.美国医学信息学协会(AMIA)年度研讨会，华盛顿特区，美国，2016年11月。