Francis
≡
个人照片

张夏天(Francis Xiatian Zhang)

我目前在爱丁堡大学任 Research Associate,研究方向为机器人视觉,主要关注三维感知、运动估计与视觉导航。我的研究结合几何建模与深度学习,近期工作包括深度估计、视觉里程计和分割,并将这些方法应用于医疗机器人与支气管镜导航。我在杜伦大学获得计算机科学博士学位,博士期间研究临床视频分析中的几何表示。更广泛地,我希望探索机器人如何利用视觉信息理解周围环境并实现可靠导航,也期待机器人感知与计算机视觉领域的研究和工程合作机会。

简历(英文 PDF)  /  个人邮箱  /  学术邮箱  /  大学主页  /  GitHub  /  谷歌学术  /  Linkedin  /  Twitter

动态

  1. 6/2026: 我们的论文 Geometry-Aware Visual Odometry for Bronchoscopic Navigation via High-Gain Observer Fusion 获得了 ICRA 2026 医疗机器人最佳论文奖。
  2. 6/2026: Cross-view Multimodal Vision-Based Assessment Framework for Traditional Chinese Medicine Rehabilitation Training (IEEE Transactions on Neural Systems and Rehabilitation Engineering) ——已接收。
  3. 6/2026: FDRAS: Failure Diagnosis and Repair for Airway Segmentation ——被 MICCAI 2026 接收。
  4. 5/2026: 我们的论文 Geometry-Aware Visual Odometry for Bronchoscopic Navigation via High-Gain Observer Fusion 入围 ICRA 2026 医疗机器人最佳论文奖。
  5. 2/2026: 三篇论文被 ICRA 接收: ROOM: A Physics-Based Continuum Robot Simulator for Photorealistic Medical Datasets Generation、A Model-Based Framework for Assessing Operator Performance in Navigational Bronchoscopy,以及 Geometry-Aware Visual Odometry for Bronchoscopic Navigation via High-Gain Observer Fusion。
  6. 1/2026: Understanding psychiatrist readiness for AI: a study of access, self-efficacy, trust, and design expectations (BMC Health Services Research) ——已接收。
  7. 6/2025: 两篇论文被 MICCAI 2025 接收: Navigational Bronchoscopy in Critical Care via End-to-End Pose Regression (已接收),以及 BREA-Depth: Bronchoscopy Realistic Airway-geometric Depth Estimation (提前接收)。
  8. 5/2025: 博士论文正式获批,顺利获得博士学位。
  9. 1/2025: 通过博士论文答辩,仅需小幅修改。答辩考官: Dr. Hansung Kim 和 Dr. Stamos Katsigiannis。
  10. 12/2024: Adaptive Graph Learning from Spatial Information for Surgical Workflow Anticipation (IEEE Transactions on Medical Robotics and Bionics) ——已接收。
  11. 11/2024: 开始在爱丁堡大学任 Research Associate (科研指导: Dr. Mohsen Khadem).
  12. 9/2024: Unraveling the brain dynamics of Depersonalization-Derealization Disorder: a dynamic functional network connectivity analysis (BMC Psychiatry) ——已接收。
  13. 8/2024: Advancing healthcare practice and education via data sharing: demonstrating the utility of open data by training an artificial intelligence model to assess cardiopulmonary resuscitation skills (Advances in Health Sciences Education) ——已接收。 数据集。
  14. 6/2024: Depth-Aware Endoscopic Video Inpainting (MICCAI 2024) ——已接收。
  15. 12/2023: Pose-based Tremor Type and Level Analysis for Parkinson's Disease from Video (International Journal of Computer Assisted Radiology and Surgery) ——已接收。
  16. 11/2023: 开始担任研究助理,参与项目 边缘计算与分析 2.0 课程开发 (项目负责人: Dr. Anish Jindal).
  17. 8/2023: Correlation-Distance Graph Learning for Treatment Response Prediction from rs-fMRI (ICONIP 2023) ——已接收。
  18. 4/2023: The Treatment of Depersonalization-Derealization Disorder: A Systematic Review (Journal of Trauma & Dissociation) ——已接收。

近期项目

我面向对安全性要求较高、数据有限的应用场景开展机器学习研究,关注从数据整理、模型训练和评估到推理部署的完整流程。我的工作涉及几何感知、时序建模和图学习,并提供可复现的工具,为后续系统输出深度、图结构和其他结构化预测。如有合作意向,欢迎联系 francis.xiatian.zhang@outlook.com (个人邮箱)或 francis.zhang@ed.ac.uk (学术邮箱)。

Geometry-Aware VO

ICRA 2026 · 医疗机器人最佳论文奖

Geometry-Aware Visual Odometry for Bronchoscopic Navigation via High-Gain Observer Fusion

RGB 深度

结合基于深度的气道几何信息与高增益观测器融合,改善支气管镜视觉跟踪并降低轨迹漂移。

  • 采用 BREA-Depth 提供的深度感知基础,支持气道腔口定位和几何朝向估计。
  • 在离体肺实验中,相比对照视觉里程计方法,绝对轨迹误差降低超过 50%。

论文 | arXiv | 奖项

FDRAS

MICCAI 2026

Failure Diagnosis and Repair for Airway Segmentation

FDRAS 气道分割修复前后对比:AeroPath 数据上的 nnUNet 输入与修复输出

诊断并修复胸部 CT 气道分割中的结构性错误,通过预测误差图指导有针对性的修正。

  • 利用几何误差图和树结构连通性误差图,定位边界偏差及断裂分支。
  • 提供预训练模型、训练与推理脚本,以及误差图可视化工具。

GitHub | 论文

CME-AQA

IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2026

Cross-view Multimodal Vision-Based Assessment Framework for Traditional Chinese Medicine Rehabilitation Training

TCM-AQA61 数据集中的针灸与推拿训练示例,包含第一人称和第三人称视角

结合视觉与姿态特征评估针灸和推拿训练技能。训练阶段同时使用第一人称与第三人称视频,推理阶段仅需第三人称视角。

  • 构建两个同步双视角数据集,每项任务包含 61 名参与者,并由专家提供标注。
  • 提供训练与推理代码、示例视频和技能评估演示。

GitHub | 论文 | arXiv

BREA-Depth

MICCAI 2025

Bronchoscopy Realistic Airway-geometric Depth Estimation

BREA-Depth 气道深度估计示例

提供可直接运行的支气管镜导航深度推理代码,将基础模型适配到支气管镜视频,为后续感知模块提供可靠的深度信息。

  • 生成稳定的深度估计,可用于后续规划中的 CT 与视频对齐及碰撞检测。
  • 流程包括合成气道渲染、域适配、深度推理和评估工具,并通过版本管理支持手术机器人研究团队复现实验与部署。

GitHub | 论文 | arXiv

Adaptive Graph Learning

IEEE Transactions on Medical Robotics and Bionics, 2024

Adaptive Graph Learning from Spatial Information for Surgical Workflow Anticipation

自适应图学习可视化

利用实时手术器械检测预测后续工作流程,为器械准备与信息展示提供参考。

  • 根据空间线索持续更新器械之间的关系,提前预测后续手术步骤。
  • 原型流程包括器械检测、空间图构建、流程预测和信息展示,并考虑了提示频率控制与检测缺失时的处理。

GitHub | 论文 | arXiv

DAEVI

MICCAI 2024

Depth-Aware Endoscopic Video Inpainting

DAEVI 深度感知视频修复示例

提供可在本地运行的深度感知视频修复工具,用于研究共享或数据集发布前的手术视频处理。

  • 输入原始视频与掩膜,输出时间一致的视频修复结果,供后续模型训练或审阅使用。
  • 提供训练与推理脚本、确定性的预处理流程和模型权重,便于生物医学研究人员复现修复结果并进行比较。

GitHub | 论文 | arXiv

研究

我的研究涉及计算机辅助介入、医疗机器人和基于视觉的技能评估。以下为部分代表性论文,包括近年来在生物医学工程与医疗机器人领域的合作工作。完整论文列表请见我的谷歌学术主页。

会议论文

  1. FDRAS: Failure Diagnosis and Repair for Airway Segmentation
    Francis Xiatian Zhang, Kevin Dhaliwal and Mohsen Khadem
    MICCAI 2026 | paper | code

    贡献:预测几何误差与连通性误差图,引导域偏移条件下的气道分割定向修复。

    Medical Imaging
  2. Geometry-Aware Visual Odometry for Bronchoscopic Navigation via High-Gain Observer Fusion
    Mohammadreza Kasaei, Francis Xiatian Zhang, Feng Li, Farshid Alambeigi, Kevin Dhaliwal and Mohsen Khadem
    IEEE International Conference on Robotics and Automation (ICRA) 2026 | paper | arXiv

    贡献:结合 BREA-Depth 深度感知与高增益观测器融合,改善支气管镜视觉跟踪并降低轨迹漂移。

    Robotics
  3. A Model-Based Framework for Assessing Operator Performance in Navigational Bronchoscopy
    Zhaoxing Deng, David Hanley, Francis Xiatian Zhang, Kevin Dhaliwal and Mohsen Khadem
    IEEE International Conference on Robotics and Automation (ICRA) 2026 | paper

    贡献:利用支气管镜位姿跟踪、运动学约束和基于模型预测的参考轨迹,评估操作者的操作表现。

    Robotics
  4. ROOM: A Physics-Based Continuum Robot Simulator for Photorealistic Medical Datasets Generation
    Salvatore Esposito, Matías Mattamala, Daniel Rebain, Francis Xiatian Zhang, Kevin Dhaliwal, Mohsen Khadem and Subramanian Ramamoorthy
    IEEE International Conference on Robotics and Automation (ICRA) 2026 | paper | arXiv

    贡献:结合连续体机器人仿真与逼真渲染,为机器人支气管镜研究生成数据集。

    Robotics
  5. Navigational Bronchoscopy in Critical Care via End-to-End Pose Regression
    Emile Mackute, Francis Xiatian Zhang, Kevin Dhaliwal and Mohsen Khadem
    MICCAI 2025 | paper

    贡献:从视频直接估计支气管镜位姿,支持重症监护场景中的导航。

    Robotics
  6. BREA-Depth: Bronchoscopy Realistic Airway-geometric Depth Estimation
    Francis Xiatian Zhang, Emile Mackute, Mohammadreza Kasaei, Kevin Dhaliwal, Robert Thomson and Mohsen Khadem
    MICCAI 2025 | paper | arXiv | code

    贡献:通过深度感知域转换、气道结构损失和气道专用评估指标,将基础模型适配于支气管镜深度估计。

    Medical Imaging
  7. Depth-Aware Endoscopic Video Inpainting
    Francis Xiatian Zhang, Shuang Chen, Xianghua Xie and Hubert P. H. Shum
    MICCAI 2024 | paper | arXiv | code

    贡献:结合时空深度估计、双模态融合和深度增强判别器,修复内镜视频中被遮挡的解剖结构。

    Medical Imaging
  8. Pose-Based Tremor Classification for Parkinson's Disease Diagnosis from Video
    Haozheng Zhang, Edmond S. L. Ho, Francis Xiatian Zhang and Hubert P. H. Shum
    MICCAI 2022 | paper | arXiv | code

    贡献:通过数据集整理、评估方案设计和临床解读,支持基于姿态的帕金森震颤分类。

    Human Motion Analysis

期刊论文

  1. Cross-view Multimodal Vision-Based Assessment Framework for Traditional Chinese Medicine Rehabilitation Training
    Francis Xiatian Zhang, Hao Yao, Shengxuan Chen, Hong Zhu, Hongxiao Jia, Sisi Zheng and Hubert P. H. Shum
    IEEE Transactions on Neural Systems and Rehabilitation Engineering 2026 | paper | arXiv | code

    贡献:结合视觉与姿态特征、跨视角训练及专家标注的双视角数据集,评估针灸和推拿操作技能。

    Human Motion Analysis
  2. Adaptive Anticipation: Adaptive Graph Learning From Spatial Information for Surgical Workflow Anticipation
    Francis Xiatian Zhang, Jingjing Deng, Robert Lieck and Hubert P. H. Shum
    IEEE Transactions on Medical Robotics and Bionics 2024 | paper | arXiv | code

    贡献:通过自适应图学习手术器械之间的空间关系,预测后续手术工作流程。

    Robotics
  3. Advancing healthcare practice and education via data sharing: demonstrating the utility of open data by training an artificial intelligence model to assess cardiopulmonary resuscitation skills
    Merryn D. Constable, Francis Xiatian Zhang*, Tony Conner, Daniel Monk, Jason Rajsic, Claire Ford, Laura Jillian Park, Alan Platt, Debra Porteous, Lawrence Grierson and Hubert P. H. Shum
    Advances in Health Sciences Education 2024 | paper | code | dataset

    贡献:结合多视角姿态估计和时空图建模,评估心肺复苏操作技能。

    Human Motion Analysis

* 表示共同第一作者。

获奖

  1. 2026,ICRA 医疗机器人最佳论文奖
    获奖论文: Geometry-Aware Visual Odometry for Bronchoscopic Navigation via High-Gain Observer Fusion;与 Mohammadreza Kasaei、Feng Li、Farshid Alambeigi、Kevin Dhaliwal 和 Mohsen Khadem 合作完成。
  2. 2020,院长优秀表现奖(Dean’s List Award), 南安普顿大学社会科学学院数学学科。

经历

  1. Research Associate,爱丁堡大学,2024 年 11 月至今。
    开发面向机器人支气管镜的深度学习视觉导航原型,涉及气道分割、几何图构建和错误感知推理,并在已采集的临床视频上进行评估。
    科研指导: Dr Mohsen Khadem
  2. 研究助理,杜伦大学,2023 年 10–11 月;2024 年 7–9 月。
    参与 Edge Computing and Analytics 2.0 课程教学,涵盖模型训练、ONNX 导出,以及通过 Python API 和轻量图形界面进行部署的完整流程。
    项目负责人: Dr Anish Jindal
  3. 教学助理,杜伦大学,2021 年 11 月至 2024 年 6 月。
    为计算思维、数据科学、数据科学编程和文本挖掘课程提供每周实验辅导,协助代码调试、解释评分标准,并与任课教师共同处理工具使用问题。
  4. 学生助理,杜伦大学,2022 年 8–9 月。
    为第 21 届 ACM SIGGRAPH/Eurographics 计算机动画研讨会协助安排嘉宾交通、大巴预订和杜伦城堡参观 (SCA 2022)。
  5. 研究助理,诺森比亚大学,2022 年 4–7 月。
    搭建多摄像机采集系统,收集护理模拟训练视频,并训练基于姿态估计的自动技能评分系统。
    项目负责人: Dr Merryn Constable

科研资助

  1. U-care:深紫外光治疗
    Research Associate;EPSRC 项目编号: EP/T020903/1;项目总经费: £6,132,366
    项目总负责人(PI): Prof Robert Thomson
    科研指导: Dr Mohsen Khadem
    UKRI 资助,2021–2026 年(本人于 2024 年加入)
  2. 边缘计算与分析 2.0 课程开发
    研究助理,英国–埃及跨国教育(TNE)项目经费: £30,000 (项目负责人: Dr. Anish Jindal)
    英国文化教育协会资助,2022–2024 年
  3. 面向卫生专业教育的姿态估计:开发客观的计算机方法以测量和评估护理技术能力
    研究助理,诺森比亚大学应用研究种子基金项目经费: £16,428 (项目负责人: Dr. Merryn Constable)
    英国诺森比亚大学资助,2022 年
感谢 Yunhe Wang 分享本网站所用模板的开源代码 ✩。

基于 w3.css