智能超声 | “AI在家检测儿童肺炎!”FLUEnT:基于人工智能的儿科超声肺实变检测下一代AI工具
作者：微信文章"怀长期主义，聊医工科技"
欢迎添加超哥微信加入交流群，获取前沿，合作等资讯添加微信时请备注姓名，单位，从事方向等讯息
https://mmbiz.qpic.cn/sz_mmbiz_jpg/pzlLCnvUhRvY62YRhcQichF0p189uibVSPl2JBGtL9WCq18hhnvSxjcJZbxXDNShbJibLb3YyoYzCWJib55pmHbUQA/640?wx_fmt=other&from=appmsg&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1
不错过医工超人文章三部曲：1. 关注公众号 2. 经常点击“在看” 3. 点击公众号右上方设置“星标” 每篇文章都会按时推送不错过
本篇文章大概2800字，深度阅读需要16分钟 今天的文章中，超哥为大家介绍一种基于超声AI的框架，用于检测儿科肺部超声视频中的肺实变。肺炎是全球儿童主要的死亡原因，尤其在资源有限的地区，准确诊断尤为重要。FLUEnT通过融合多种编码，包括变分自动编码器 (VAE) 生成的帧级编码、带空间注意力的卷积神经网络 (SA-CNN) 提取的空间特征以及患者元数据，将这些信息输入变压器模型，以提高视频级别的分类准确性。实验表明，FLUEnT在检测肺实变方面表现出色，其平均平衡准确率达到89.3%，显著优于其他基线模型。该模型展示了在儿科肺炎诊断中的巨大潜力，特别是在资源有限的环境中。未来研究将进一步验证FLUEnT在更大规模、多中心数据集上的泛化能力，并探索其在移动设备上的应用。超哥之前介绍的超声AI相关文章：
行业洞见 | 超声AI在妇产中的应用：深度学习助力精准分娩监测
经典回顾 | 基于AI方法的超声无铅压电纳米粒子深部脑刺激创新平台
创新未来 | 超声医生的AI大模型助手LLaVA-Ultra : 基于超声图像的多模态大语言中文模型
创新未来 | 超声医生的AI大模型助手LLaVA-Ultra : 基于超声图像的多模态大语言中文模型
开源平台 | BUSClean : 面向乳腺超声AI的图像预处理与知识提取开源软件
文章介绍了肺炎作为全球儿童死亡的主要原因，尤其在资源有限的地区，迫切需要一种可靠的诊断工具。肺部超声 (Lung Ultrasound, LUS) 被认为是一种有效的筛查手段，但由于数据获取和解读的复杂性，特别是在训练不足的环境下，广泛应用受到限制。FLUEnT模型的开发旨在通过人工智能手段，特别是变压器模型，来自动化并提高LUS数据的解读效率，尤其是针对儿科肺实变的检测。
以下是FLUEnT（儿科肺部超声视频评分框架）的概述：在图的左侧，展示了数据收集过程以及几个肺部超声图像样本。图中：模块 (a)：表示输入视频帧的变分自动编码器 (VAE) 嵌入编码。模块 (b)：表示通过带空间注意力的卷积神经网络 (SA-CNN) 提取的特征图。模块 (c)：表示患者信息的编码。模块 (d)：表示基于变压器的分类过程，该过程将模块 (a) 到 (c) 的融合编码作为输入，进行最终分类。
数据集与预处理 (Dataset and Preprocessing)
研究使用了一个包含2400个来自200名儿科患者的视频数据集。每名患者收集了12段LUS视频，包括左、右肺的不同部位和视角。这些数据经过了专业放射科医生的标注，识别出是否存在肺实变。该数据集中的视频长度不一，部分视频由于探头移动速度不同而长度不同，这对模型训练提出了挑战。
从左到右依次为：显示连续胸膜线且没有肺实变的肺部超声图像样本；橙色箭头指示的非连续胸膜线图像；红色框内显示小的胸膜下肺实变的图像，以及黄色框内显示节段性/肺叶性肺实变的图像。
方法 (Methods)
FLUEnT模型由多个模块组成：
变分自动编码器 (VAE)：用于生成每一帧视频的潜在编码，通过学习输入数据的概率分布来生成压缩后的特征。
带空间注意力的卷积神经网络 (SA-CNN)：提取视频帧的空间特征，结合VAE生成的编码。
元数据编码：包括患者的年龄、探头的扫描视角等信息，这些数据与视频帧的编码一起被输入到变压器模型中。
变压器模型 (Transformer)：通过多头自注意力机制学习帧间的长距离依赖关系，最终对视频是否存在肺实变进行分类。
带有空间注意力的卷积神经网络 (SA-CNN) 架构（使用 ResNet-18），以及空间注意力模块的扩展结构。
实验与结果 (Experiments and Results)
文章通过一系列实验评估了FLUEnT模型的性能，并与现有的基线模型如ViViT、TimeSFormer和Swinformer进行了对比。实验结果表明，FLUEnT在处理儿科LUS视频时表现优异，尤其在融合了多种编码信息后，其平均平衡准确率达到了89.3%。相比之下，其他基线模型的准确率均较低。此外，FLUEnT模型在处理计算复杂性时也表现出优势，处理时间显著短于基线模型。
讨论 (Discussion)
讨论部分深入分析了FLUEnT模型在儿科LUS数据上优异表现的原因，特别是融合编码和元数据的有效性。同时，作者也指出模型在特定视角下可能存在误判的风险，例如在扫描心脏和肝脏时，可能将这些器官误判为肺实变。为了增强模型的鲁棒性，未来工作将考虑在更大规模的数据集上进行训练，并探索如何在资源有限的环境中实际应用该模型。
VAE重建结果：原始图像样本（上）及对应的重建图像（下）。第1列和第4列的图像显示了节段性/肺叶性肺实变的存在；其余图像中未见肺实变。
结论 (Conclusion)
FLUEnT模型展示了在儿科LUS视频分析中的巨大潜力，尤其在检测肺实变方面的高准确性。该模型不仅在处理复杂视频数据上表现出色，还能够有效应对数据不平衡的问题。文章最后建议进一步研究如何在多中心数据集上训练FLUEnT，以提高其在不同环境中的泛化能力。
未来工作
尽管FLUEnT在本研究中表现出色，但作者也指出了其局限性，例如数据集规模较小，且数据来自单一设备。未来研究将集中于在更大规模、多中心的数据集上验证FLUEnT的有效性，并探索将其部署在移动设备上，为资源有限的环境提供支持。
最后惯例一张AI图：
"怀长期主义，聊医工科技"
我是超哥，超声行业17年老伙计，做过研发，搞过生产，趟过市场，开过（在开）公司；越野跑爱好者；工作狂；沟通粗暴直接；严苛完美主义者；起伏皆为过往；信奉长期主义和第一性原则；欢迎来聊来组局...
我是超哥，下期见...
欢迎添加超哥个人微信和超哥可以谈项目，聊技术，搭平台，做咨询，介绍工作等等等等添加微信时请备注（姓名-单位-职位-合作意向）（可扫描下方二维码添加超哥微信）
*免责声明*
本公众号注明原创的内容权利属于本服务或本服务权利人所有，未经本服务或本服务权利人授权，任何人不得擅自使用（包括但不限于复制、传播、展示、镜像、上载、下载、转载、摘编等）或许可他人使用上述知识产权的。已经本服务或本服务权利人授权使用作品的，应在授权范围内使用，并注明作者来源。否则，将依法追究其法律责任。
页:
[1]