联邦检测 Transformer 在实际环境中的性能展示 ！
评估冠状动脉病变的严重程度对患者的健康至关重要，因为冠状动脉狭窄是心力衰竭的潜在因素。 目前对冠状病变的评分方法，如 分数流量储备 (FFR) 或者即时无波形比值 (iFR)，存在一些缺陷，包括时间、成本和侵入性，以及潜在的观察者间变异性。在此背景下，一些深度学习方法出现了，以帮助心脏病专家自动化 FFR/iFR 值的估计。 尽管这些方法的有效性很高，但它们依赖于大型数据集是具有挑战性的，因为敏感的医学数据具有分布性的特点。分治学习通过将多个节点的知识聚合来改进模型的泛化能力，同时保留数据隐私，从而解决了这个挑战。作者提出了第一个分治检测变形器方法，FeDETR，以基于 FFR/iFR 值估计评估 angiography 视频中的狭窄程度。 在作者的方法中，每个节点在其本地数据集上训练一个检测变形器（DETR），而中央服务器则联邦化网络的backbone部分。 所提出的方法在包含 1001 次冠状动脉造影检查的五个医院收集的数据集上进行训练和评估，并与最先进的有分治学习方法进行比较。
1 Introduction
心力衰竭的主要原因是冠脉狭窄，当血 vessels变窄时，它会阻止正常的心脏泵血。Knuuti 和 Revenco (2020) 以及Neumann等（2018）发现。根据狭窄的严重程度，评估冠状动脉造影术的第一步是决定是否需要进行医学或外科治疗。
入侵性冠状动脉生理评估，使用无论的分数血流储备(FFR)或即时波无比（iFR），是一种已确立的评估冠状动脉病变的指南方法，Neumann等（2018）；Knuuti和Revenco (2020)。然而，这些方法在侵入性方面存在一定的局限性，例如耗时较长，成本较高，可能由于其侵入性而带来并发症。此外，因评估者对定位主要狭窄程度的专业知识不同，临床决策可能出现变化。Singh等人（2003）发现。
尽管存在这些缺点，利用FFR和iFR量化狭窄程度已逐渐在指导多血管病变的再灌注策略中受到青睐。研究表明，FFR值低于0.80和iFR值低于0.89表示存在明显的心血管病变（Neumann等，2018）；Tonino等人（2009）；De Bruyne等人（2012）；Davies等人（2017）；而高于这些阈值的患者可能与仅接受最佳治疗相比受益不明显。因此，自动估计FFR或iFR值将帮助临床医生做出准确决策，并减少患者需要接受的治疗次数。
在过去的十年里，医学图像分析领域出现了几个深度学习方法，以帮助心
2 Related Work
联邦学习的目标是开发能够利用多个节点共享的知识的模型，同时保护数据隐私和安全性。在经典的联邦学习环境中，多个客户端节点使用本地数据微调从中央服务器接收的基模型，然后将本地模型更新送回服务器。中央服务器将这些更新汇总成全局模型，并将其逐步回传给节点，直到达到收敛为止。汇总可以使用多种方法实现。
联邦平均值（FedAvg）由McMahan等人（2017年）提出，将所有参与设备接收到的模型更新求平均，以创建更新的全局模型。联邦代理（FedProx）由Li等人（2020年）提出，通过在优化目标中引入代理项，在汇总过程中维持全局模型和本地模型之间的相似性。联邦中位数（Federated Median）由Pillutla等人（2022年）提出，作为FedAvg（2017年）的替代方法，通过取参与节点接收到的模型更新的中位数进行汇总，减少异常值或噪声更新对模型性能的影响。在联邦批处理归一化（FedBN）中，Li等人（2021年）使用中央服务器汇总模型参数，同时保护批处理归一化层。
在联邦学习的背景下，许多用于进行目标检测的方法涉及使用YOLOv3 Redmon和Farhadi（2018年）以及Faster R-CNN Ren等人（2015年），如Jallepalli等人（2021年）和Luo等人（2019年）所提出的；FedVision由刘等人（2020年）提出，是基于YOLOv3 Redmon和Farhadi（2018年）的联邦专有算法，可以实现具有本地存储的多客户端数据集的端到端联合训练。同样，Yu和刘（2019年）将FedAvg（2017年）算法应用于Singleton Shot MultiBox Detector（SSD） Liu等人（2016年），通过引入异常权重剪裁来减轻非IID数据的影响。
类似地，现有的古典方法也被用于并适应于联邦图像分割任务。Tedeschini等人（2022年）和Yi等人（2020年）提出了两种不同的改进版U-NET Ronneberger等人（2015年）架构来对脑肿瘤进行分割。Li等人（2019年）对比了几种权重共享策略来减轻不同医院间的数据不平衡影响，并降低从模型参数中逆向工程训练数据的风险。FedDis Bercea等人（2021年）是一种用于分割的联邦方法，将参数空间解离为形状和外观，仅在客户端之间共享形状参数，从而减轻单个客户端之间的域移。
由于医疗领域具有分布式和异构数据的特点，它可以作为联邦学习方法的测试平台 Feki等人（2021年）；Dayan等人。FL提供了一种保护隐私的方法，使医疗机构能够通过培训不同患者群体的多样化数据来协作并构建强大且通用的模型。
过去几年中，已经采用几种深度学习方法从图像数据中检测和量化狭窄程度。这些方法可以是基于2D或3D的方法。前者分析之前从心导管视频中提取的单个帧，然后进行最终预测。后者，虽然研究较少，直接从整个视频提取时空特征。Zhang等人；Xue等人（2018）。
大多数2D方法通过将狭窄程度划分为两到三个严重 Level 或通过阈值FFR/iFR值来对血流阻力进行狭窄分类，以检测出对血流动力学具有重要意义的狭窄。这些方法通常依赖于CNN架构 Moon等人（2021年）；Antczak和Liberadzki（2018年）或卷积网络与循环网络以自动识别关键帧，然后使用狭窄分类模块进行最终分类。
另一种方法是将注意力集中在关键帧中的血管上，即在预处理分割阶段对它们进行突出显示； Au等人；赵等人（2021，2021）；Wan等人（2018）。赵等人（2021）首先进行自动血管分割，接着提取关键点并分类，以识别出高度可能出现狭窄的段。
此外，一些2D方法将解释性技术应用于基于帧的狭窄分类模型，以生成激活映射，帮助引导狭窄检测过程 Moon等人； Cong等人（2019）。
与上述方法不同，作者的方法是将检测 Transformer （DETR）Carion等人（2020）与联邦学习相结合，用 angiographic 关键帧评估狭窄程度。
3 Method
提出的方法概述如图1所示。在这个场景中，一个联邦由一组由中央服务器管理的（n）节点组成。每个节点拥有一个私有数据集，该数据集包括从冠状动脉造影视频中提取的关键帧。这个数据集用于训练检测变形器（DETR）[1]。
图1：每个节点使用自己的数据集，该数据集包括从冠状动脉造影视频中提取的关键帧，来训练检测变形器。在每个回合的开始，中央服务器向每个节点发送聚合的 Backbone ，该节点使用它从关键帧中提取特征。在每个回合之后，每个节点将本地训练的 Backbone 发送回中央服务器，服务器将它们全部聚合。
在中央集中训练的每个回合中，每个节点从服务器接收模型的 Backbone 。 Backbone 用于从私有数据集中图像的特征提取。在模型对其进行扁平化并使用位置编码增强后，这些特征被输入到编码器-解码器变形器中。变形器解码器（[N]）的每个输出嵌入都经过一个独立的前馈网络，独立地将它解码为边界框和类标签，从而得到最终判断。在每个回合的结束阶段，涉及多个训练迭代，每个设备本地训练的 Backbone 被送回中央服务器。服务器对收到的 Backbone 进行汇总，整个过程将在下一个训练轮次中重复执行。这个迭代过程确保节点间进行协作，同时保持数据隐私和安全性。
Problem formulation
所提出的方法在联邦环境中运行，其中 个节点共训练 轮。在每个轮次结束时，包括 个本地 epoch，与中央服务器进行通信。
每个节点 在自己的私人数据集 上训练本地模型 ，其中 表示数据集中的一个样本图像， 表示目标物体类（低严重程度或轻微/高严重程度狭窄）， 表示边界框坐标。每个本地模型 由 参数化，其中 。具体而言，在所提出的办法中，节点 训练本地 DETR 模型，其结构如图2 所示。由于模型由两部分组成，模型参数 可以用 Backbone 和编码-解码 Transformer 参数的并集来表示，即 和 分别表示。
因此，在训练时间，联邦中的每个节点 ，局部优化有限和目标：
定义 如下：
其中 是使用模型参数 进行的 目标检测损失。
相比之下，当前的联邦方法大多基于所有模型参数的平均，而作者的方法仅将模型的一部分（ Backbone ）进行联邦。实际上，在每个训练轮次结束时，联邦中的节点在 参数子集上应用 FedAvg 算法（McMahan 等，2017），从而接收 Backbone 的更新版本，并恢复局部训练。
4 Experimental Evaluation
Dataset
所提出的这种方法用包含2020年至2022年间五个大医院中1001名患有冠状动脉综合症（CCS）和急性冠状动脉综合症（ACS）患者的冠状动脉造影和生理测量值的私有数据集进行训练和评估。该数据集包含了737名男性和264名女性患者，平均年龄为66.8 9.26岁。
冠状动脉造影和生理测量是在符合标准临床实践的条件下进行的。然后，两位具有丰富经验的心脏科医生对冠状动脉造影数据中的关键帧进行了标注。每份造影都根据侵入性生理评估与iFR，FFR或两者都进行了评估。具体而言，FFR值对于613名患者（61.2%）可用，而iFR值对于667名患者（66.6%）可用，而279名患者（27.8%）既有FFR也有iFR的数据。心脏科医生确定了每次检查中的主要狭窄，并将其标记为如果FFR小于0.80 Neumann等人（2018年）；Tonino等人（2009年）；De Bruyne等人（2012年）或如果iFR小于0.89 Neumann等人（2018年）；Davies等人（2017年）。因此，40.5%的病人被标记为阳性，导致明显的类别不平衡。
Training procedure
每个节点上都训练一个DETR模型，该模型由ResNet-50（He等人，2016年）backbone和Encoder-Decoder Transformer组成（Carion等人，2020年）。该模型在COCO 2017数据集（Lin等人，2014年）上进行预训练。将DETR模型通过最大化Hungarian损失（Carion等人，2020年）进行训练，采用的是AdamW（Loshchilov和Hutter，2017年）优化器，其中transformer和backbone的初始学习率分别设置为10^-4和10^-5，权重衰减设置为10^-4。随后，使用一个调度器使用比例因子γ设置为0.1进行更新。在每次多头自注意力和FNN（Feed-Forward Network）之后，以及执行层规范化之前，还会应用一次0.1的累加dropout。
编码器和解码器都由六个层组成，具有标准的架构。它们的自注意力和交叉注意力模块具有八个head，每个head接收256维的输入嵌入。此外，这些模块的FFN（Feed-Forward Network）具有2048维的维数。每经过一次多头自注意力和FFN之后，会应用一次0.1的加性dropout，并在执行层规范化之前对输出进行补充。编码器的输出在经过一个正弦位置编码之后，才会被传递到解码器。Transformer解码器的物体 Query 数量为20个。
数据增强通过连续和随机地应用水平和垂直翻转，以及90度旋转。接下来，对图像进行尺度增强，将图像大小缩小为最短边为512像素，最长边为1333像素或更短。此外，图像还添加了零填充，使它们变为矩形以移位检测区域。由于边界框通常位于图2（b）的左上角或中央位置，因此额外的零填充应防止模型学习到位置偏好。
Results
图3：图2(a)显示了“轻度狭窄”（顶部一行示例）和“轻度或严重狭窄”（底部一行示例）。图2(b)呈现了一个平均热力图，它来源于所有样本的集体边界框位置。
为了评估作者的方法FeDETR的性能，作者将它与 Baseline 方法（FedAvg McMahan等（2017）和FedBN Li等（2021））在标准目标检测指标（如准确率（ACC）、精确率（PPV）、召回率（TPR）和交并集（IoU））上进行比较。结果呈现在Tab.1中。联邦训练方法在基础DETR模型（使用所有节点联合数据）上实现了显著的准确性提升，甚至相比单独节点训练（_standalone_）的性能提升更大。这一结果强调了在单个节点的较小个体数据集上训练的效果优于统一数据集。此外，将联邦训练方法与单个节点的数据集训练相比，可以在准确性上取得12点的显著提升。这表明在节点特定数据上的联邦训练超过了单个统一数据集的训练。
三个联邦训练方法（即FeDETR、FedAvg McMahan等（2017）和FedBN Li等（2021））之间的比较表明，它们的在分类准确率和目标检测指标上的性能相似。特别是在第1步时，FeDETR呈现出普遍的性能提升，这反映了更好的收敛特性。此外，尽管FeDETR在精确率而非召回率方面似乎取得了更好的成绩，但作者可以观察到一个普遍的趋势是改善了轻度/严重狭窄（这是一个对诊断目的至关重要的因素）。另一方面，FeDETR在IoU指标上的边界框预测性能较差。
特别是在FeDETR中，它采用了只占模型总参数15%的模型，即 Backbone （backbone），不包括transformer成分。这种策略性参数共享在保持隐私的同时提供了有竞争力的性能。这些结果共同强调了联邦训练在增强各种场景下准确性和性能的有效性，展示了其潜在的协作和保护隐私的机器学习。
5 Conclusion
在本文中，作者提出了一种新颖的联邦学习方法来评估冠状动脉狭窄程度。利用Carion等人（2020）提出的检测 Transformer （DETR）模型，该方法包括部分血流储备（FFR）和即时波无比率（iFR）值，以准确评估狭窄程度。
在作者的方法中，联邦中的每个节点都训练一个DETR模型来检测从心导管视频中提取的关键帧中的高度严重狭窄。在每个周期结束时，中央服务器接收来自节点的模型的后背，并进行汇总。
通过利用联邦学习，作者解决了医学领域中的隐私问题和数据共享问题，确保了患者数据的安全和完整性。
此外，作者为心科医生提供了一个可靠的工具，可以准确评估冠状动脉狭窄，从而提高患者护理质量和做出明智的医疗决策。
作者的评估超越了传统的基准，通过使用来自五个医院的实际数据集：作者证明所提出的模型能够实现具有竞争力的性能，甚至对于轻/严重的狭窄的识别，它还产生了更好的结果，从而展示了作者在实际临床环境中所采取方法的鲁棒性和实用性。
据作者所知，这项工作是利用分联邦检测 Transformer 进行工作，并适用于依赖非独立的子数据集的计算机视觉检测任务，是这一领域的一个创新举措。在未来的工作中，作者将通过自动化选择冠状动脉造影视频的关键帧的流程来改进作者的方法。此外，作者设想研究更广泛的应用，如利用作者的方法进行使用对比剂的医学检查，以提高影像质量。
参考
[1].FeDETR: a Federated Approach for Stenosis Detection in Coronary Angiography.
本文参与 腾讯云自媒体同步曝光计划，分享自微信公众号。原始发表：2024-10-09，如有侵权请联系 cloudcommunity@tencent 删除服务器模型视频数据性能
发布评论