“修炼人工智能内功”--解决小样本困境，实现胰腺癌TP53无创评估

近日，amjs澳金沙门线路钱晓华课题组，原创性提出了利用Spiral-transformation来解决人工智能在肿瘤影像中的小样本挑战。该技术成功解决了多模态MRI预测胰腺癌TP53状态的难题，并且也在基于CT预测颈部肿瘤HPV状态中得到了验证。该成果以“Combined Spiral Transformation and Model-driven Multi-modal Deep Learning Scheme for Automatic Prediction of TP53 Mutation in Pancreatic Cancer”为题，于2020年11月4日在线发表在影像领域顶刊《IEEE Transactions on Medical Imaging》(TMI)上。本文第一作者是二年级研究生陈夏晗，通讯作者是钱晓华。

胰腺癌是一种非常凶险的恶性肿瘤，TP53基因的状态对胰腺癌患者在治疗方案选择、预后状态评估中起着至关重要的作用。在临床上，手术或者穿刺活检病理组织是检测TP53基因状态的主要方法，但是这种有创的方式具有局限性、盲目性和创伤性等缺点。

因此，钱晓华课题组开发了基于多模态MRI的胰腺癌TP53状态预测模型(图1)，致力于对胰腺癌患者的无创评估。具体来说，1) 该模型结合螺旋变换算法，将三维数据转化到二维空间，最大程度地保留了空间上特征的相关性，并为后续基因突变预测节省了大量的计算资源；并且，螺旋变换算法可用于数据的有效扩增。2）构建了模型和数据混合驱动的多模态深度学习模型，引入了先验知识构建模型驱动的约束项，充分利用模态间信息的相关性和多样性，实现各模态内特征的稀疏化和模态间预测结果的均衡化，有效提高多模态的融合效果。

该模型在amjs澳金沙门线路医学院附属瑞金医院提供的多模态MRI数据集上进行了全面的评估，实现了73.6%的胰腺癌TP53预测准确率；并在基于CT预测颈部肿瘤HPV状态中获得了86.5% AUC。该方案提出的自动化无创评估模型将改善传统基因分析方法的有创性、时间空间局限性等缺点，辅助医生对胰腺癌患者的诊断和预后进行智能评估，有助于为患者制定个性化的治疗方案。

本研究超越临床意义的价值在于方法论的创新性，原创性提出了利用空间变换来解决人工智能在肿瘤影像中的小样本挑战，为学术界提供一种有效的通用解决方案。

文章链接：https://ieeexplore.ieee.org/document/9248055

图1 结合螺旋变换和模型驱动的多模态深度学习模型的实现框架

基于手机视频的帕金森病运动功能自动量化评估的深度图神经网络方法

运动障碍是帕金森病（PD）的典型症状。神经病学家通常使用临床评分量表（即MDS-UPDRS）来评估PD患者运动症状的严重程度。但是，这种评估方法不仅费时，而且容易受到评估者认知差异的影响。在最近的新冠肺炎疫情爆发以来，PD患者远程医疗的实现已成为临床实践中非常迫切的事情。

为此，amjs澳金沙门线路钱晓华课题组与amjs澳金沙门线路医学院附属瑞金医院功能神经外科主任孙伯民团队的张陈诚医生合作，于2020年11月19日在康复领域顶刊《IEEE Transactions on Neural Systems and Rehabilitation Engineering》（TNSRE）在线发表了题为“Sparse Adaptive Graph Convolutional Network for Leg Agility Assessment in Parkinson’s Disease”的研究文章，提出了适用于基于视频（普通手机录像）对MDS-UPDRS中腿部灵活性任务进行自动化客观评估的深度学习模型。本文第一作者是二年级博士生郭睿，通讯作者是钱晓华。

腿部灵活性任务是MDS-UPDRS的重要组成部分之一。在该测试中，PD患者需要将每条腿分别以最大的幅度和最快的速度抬高踏地。神经病学家根据患者的动作速度、幅度、有无迟疑和停顿、有无幅度的逐渐缩小等因素来给出评估分数，分数范围为0-4。在该任务的自动量化评估研究中，已有的基于传感器的方法存在着侵入性、定期标定和校准的局限性，基于视觉的特征工程方法则需要人工事先设计特征。

因此，作者开发了稀疏化自适应的图卷积网络模型实现基于视频的腿部灵活性任务的自动化评估。具体来说，1）通过先进的人体姿态估计模型从视频中提取PD患者的关节点序列；2）提出了稀疏化自适应图卷积单元（SAGCU），以实现视频中人体骨架序列的空间建模，对人体的物理和逻辑依赖性进行了自适应编码，然后将稀疏化策略的约束嵌入到成本函数中以挖掘判别性特征，最终挖掘出了腿部灵活性任务中最重要的空间结构关系；3）引入了时间上下文模块（TCM），通过计算时间位置的相关性来构造视频序列的上下文依赖关系，捕获了腿部灵活性任务执行过程中关节的全局变化；4）开发了多域注意力学习模块（MDALM），高级时空特征用于引导低级特征以增强通道域中的显著性特征，最终实现了时间、空间和通道域的特征集成。

图2 稀疏化自适应的图卷积网络模型的实现框架

该模型在amjs澳金沙门线路医学院附属瑞金医院功能神经外科提供的临床视频数据集上进行了全面的评估，该数据集包含148个病人的870个腿部灵活性任务视频。据文献调查，这也是目前PD腿部灵活性任务自动评估研究中最大的数据集。定量和定性的评估分析证明了作者所提出的方案的有效性和可靠性，该方案实现了70.34%的准确率和98.97%的可接受准确率，优于其他已有的腿部灵活性任务自动评估的方法（包含基于传感器的方法）。该论文提出的非接触式方法为帕金森病的自动运动功能评估和远程医疗提供了新方案和潜在的工具。

文章链接：https://ieeexplore.ieee.org/document/9264203

研究组介绍

钱晓华

amjs澳金沙门线路副教授、博士生导师

实验室研究兴趣：

1）图像处理与机器学习（深度学习）算法开发；

2）医学图像（视频）处理与分析，和健康大数据挖掘与分析。