深度学习技术近来在眼科、皮肤科、放射科和病理科等医学学科领域展现出了极大的应用前景，它可以为世界各地的患者提供更加精准、可用的高品质医疗服务。Google 近期也发表了一项研究成果，该成果显示，卷积神经网络检测淋巴结中的乳腺癌转移准确率，可以媲美一名训练有素的病理学家。
然而，目前为止，用复合光学显微镜直接观察组织仍然是病理学家诊断疾病的主要手段，如何将微观组织进行数字化展示，成了深度学习技术在病理学科大规模应用的关键挑战。
4 月 16 日，在美国癌症研究协会年会（AACR）的一场演讲，一篇题为《扩增实境显微镜实时自动检测癌症（正在审查）》的论文介绍了一款“扩增实境显微镜”（ARM）平台原型，相信这款产品可以帮助加速深度学习技术在全球病理学领域的推广应用。
该平台由一个经改良的光学显微镜组成，能对即时分析图像并直接在用户视野内显示机器学习运算的分析结果。
值得一提的是，只需使用低成本、现成的元件，就可将这款扩增实境显微镜改造成世界各地医院和诊所常见的普通光学显微镜，而且无需全面升级数位系统就能分析组织。
现代计算元件和深度学习模型──比如在 TensorFlow 平台建构的模型，使这个扩增实境显微镜平台能执行大量预训练模型。和使用传统显微镜一样，使用者透过目镜观察样品，机器学习运算输出的结果将即时投射到光路，叠加在样本的原始图像上，帮助观察者快速定位和量化感兴趣的特征。而且，平台的计算和视觉反馈非常迅速──目前速度达 10 帧／秒，这意味着当使用者移动组织或放大倍数进一步观察时，可获得流畅无缝的视觉体验。
▲ 左图：扩增实境显微镜的原理概述。一台数码相机捕捉与用户相同的视野（FoV），然后将影像传送给一个附加的计算单元，该单元能执行即时推理的机器学习模型。随后推理结果反馈到一客制的 AR 显示屏幕，屏幕与目镜内连，并将模型输出的结果与标本显示在同一平面。 右图：该图展示了平台原型改造成典型临床级光学显微镜后的样子。
理论上，扩增实境显微镜可提供各式各样的视觉反馈，包括文字、箭头、轮廓、热图和动画，且可执行多种类型的机器学习运算以应对不同任务，比如对象检测、量化和分类等。
为了展示扩增实境显微镜的功能，我们让其执行两种不同的癌症检测运算：一种用于检测淋巴结标本中的乳腺癌转移，另一种用于检测前列腺切除术标本的前列腺癌。这些运算可在 4-40x 的放大倍数下运作，并用绿色轮廓勾画出检测到的肿瘤区域。这些轮廓可帮助病理学家注意到感兴趣的区域，而不至于遗漏外观模糊的肿瘤细胞。
▲ 透过扩增实境显微镜观察到的视图。这些图像展示了 4x、10x、20x 和 40x 放大倍数下的淋巴结标本。
虽然这两个癌症检测模型并非用扩增实境显微镜直接捕捉的影像训练，但后者上的表现非常出色，无需额外训练。我们相信，假如直接用扩增实境显微镜获取的影像进一步训练，这些运算的表现还将继续提升。
最初都是用来自一种光学结构完全不同的完整标本扫描器的影像训练，但在扩增实境显微镜平台的表现非常出色，无需额外再训练。例如，淋巴结转移检测模型在扩增实境显微镜运算时，曲线面积达到 0.98，前列腺癌检测模型的曲线面积达到 0.96，仅略低于 WSI 得到的结果。
我们相信，这款扩增实境显微镜将给全球卫生事业产生重大影响，尤其是在发展中国家的传染病诊断方面──包括结核病和疟疾等。此外，在即将采用数位病理工作流程的医院，扩增实境显微镜也可以与数位工作流程结合使用。光学显微镜已在很多行业证明了其价值，但在病理学领域作用有限。我们相信扩增实境显微镜可以应用于医疗、生命科学研究和材料科学等众多领域。我们很高兴能继续探索这款扩增实境显微镜，帮助加速机器学习技术在世界各地产生积极影响。
（本文由 雷锋网 授权转载；首图为示意图，来源：NHGRI）
