用生成对抗网络大规模定制医疗产品.doc

《用生成对抗网络大规模定制医疗产品.doc》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、用生成对抗网络大规模定制医疗产品　　通常说道GANs，我们会想到图像生成、真假图片判断等应用，但是没有一款真正的实体应用用到这项技术。现在，UCBerkeley和Glidewell牙科实验室的研究人员用GAN技术构建了一款模型，能够生成媲美人类医生的牙冠（假牙），既具备必要的功能，又十分美观，可以说是GAN的首次落地应用。　　近几年，计算机视觉发展得非常迅速，许多重要技术，例如目标物体识别、检测、语义分割等，都已经广泛应用于实际中。在这篇论文中，我们提出了另一种令人激动的成果——用生成对抗网络大规模定制医疗产品，例如牙冠（dentalcrown）。　　在牙齿修复的过程中

2、，牙医首先会清除掉受到损坏的部分牙齿，然后手动或用3D扫描仪对需要补的地方以及周围的结构进行大致重建。捕捉到的数据会生成一个完整的牙套或需要镶嵌的牙齿。由于牙齿修复的需求巨大，对其效果主要有三点要求：　　牙冠必须完美适合患者的口腔；　　牙冠必须能进行咀嚼功能；　　看起来要美观。　　过去十年，计算机辅助设计（CAD）技术在牙科领域大显身手，能够满足上述三种要求。但是在目前的条件下，仍然需要人类的协助才能完成。牙科CAD通常基于预先设定好的模板上，是为最理想的牙齿模型设计的。该模型被固定在准备修复的地方，然后根据患者的情况进行调整。图一展示了牙齿修复的过程，设计者需要计算牙

3、套的尺寸，然后进行手动调节。　　　　图一　　为了构建一款自动牙科CAD系统，我们需要将人类专家的技能融合到软件中。其中一种方法是建立一系列规则，涵盖了所有牙科专家所了解的技能，将其编码成机器可以理解的语言。这项工作非常复杂，并且只有当规则明确时这一方法才可行。另一种方法就是搭建一套系统，不借助外部规则，可以自己从大量案例中进行学习。　　受第二种方法的启发，我们用数据驱动的深度学习方法，将牙齿修复任务看作是有条件的图像预测问题。我们将3D扫描看作一张2D的深度图像，需要修复的牙齿的深度图像当做输入条件，而经过专业人员设计的填补图像就是标准的输出结果。也就是说，我们可以用深

4、度网络捕捉人类专家的设计，从而将一种图像转换成另一种。　　然而，想要达到上述目的，技术人员除了试错法，没有其他更好地解决方法，即如何在牙齿表面设计自然的凹槽、如何设计合适的连接点从而能让牙齿自如地咬合咀嚼。　　我们的工作很好地解决了这一问题，我们通过大数据学习，找到了能超越人类牙医的牙齿修复方案。我们提出了一项软硬结合的针对理想牙套制作的解决方法：前者负责硬件是否合适，牙套与对面牙齿合并起来时不能有缝隙。后者负责捕捉能允许咬合和咀嚼的最佳自然空间缝隙的数据。我们用一个生成对抗网络模型完成了这一图像预测任务，最终得到的结果优于人类专家。　　▌我们的方法　　设计牙套的过程如

5、上图一所示，我们首先创建了需要修复的颌骨及另一面颌骨的2D扫描图像，以及两个颌骨之间空隙的3D扫描模型。我们提出的生成模型如图二所示：　　　　图二　　研究人员将生成的2D牙套表面图像用CAD转换成3D模型，如果生成的3D模型通过了所有空间限制，那么就可以开始生产了。　　理想状态下，牙冠与另一方牙齿之间不应有过大缝隙，同时接触的部分必须能撕开或咬碎食物。所以我们提出了一种功能性损失函数来解决这一问题。　　▌条件生成对抗模型/pix2pix模型　　最近提出的pix2pix模型在图像到图像的转化中前景非常广阔。它的思想就是用有条件的生成对抗网络帮助调整生成器，从而产出看起来真

6、实的结果。　　空间信息条件 　　根据周围的牙齿设计一个合适的牙冠并不能满足牙冠需要的所有功能。同样的，我们需要考虑牙冠是如何与对面牙齿接触的。也就是说，要想创造一款功能完美的牙冠，我们还需要对面牙齿的相关信息以及上下颌骨之间空隙的数据。　　▌实验　　最后，我们进行了实验测试提出的方法。所用的数据集中含有1500个训练样本，1570个验证样本以及243个测试样本。每个样本都有对应的扫描之后的颌骨、与之相对的颌骨以及二者之间的距离，同时还有手工制作的牙冠作为训练和验证的标准。　　网络架构方面，我们遵循标准的pix2pix架构。对于生成器G，我们用U-Net架构，其中蕴含了一

7、个编码-解码器结构，同时还有对称的skipconnections。之前的实验已经证明，当输入和输出之间有空间相对性时，这种架构能生成强大的结果。　　训练设置　　我们在六种不同的设置上进行了实验，如表一所示：　　　　表一　　Cond1表示在原始的pix2pix上进行实验，并且输入的只有待修复的颌骨。其中仅仅使用了回归和对抗损失。　　Cond3表示pix2pix模型在额外的空间信息上进行的实验。同样仅仅使用了回归和对抗损失。　　HistU表示实验中加入了直方图损失和统一的权重，超参数λH设置为0.001，并且用到了回归、对抗和功能（直方图）损