Zhengyang LiuResearch & Engineering

CSUST / ARTIFICIAL INTELLIGENCE

刘正阳Zhengyang Liu.

从多模态感知,
走向端侧智能。

长沙理工大学人工智能本科生(2025—2029)。关注机器如何理解三维世界,也热衷于把研究想法做成可运行的系统。

zyliu@csust.edu.cn
FIELDNOTES / 01COOPERATIVE PERCEPTION
空地协同感知概念图无人机与地面车辆通过传感器融合共同理解三维环境的示意图,非实验数据。 UAV / AERIAL VIEWUGV / GROUND VIEWLiDARCAMERARADARSHARED 3D SPACE
Seeing together.让不同视角,形成共同的空间理解。
空地协同感知 · 概念示意
01多模态协同感知Perception & geometry02本地智能体系统Memory & agent systems03自动驾驶调度Planning & traffic systems

01 / RESEARCH

多模态感知研究

聚焦几何对齐与跨主体关联,从实现出发研究协同感知。

在研 · 基于开源框架的个人扩展

空地协同感知的
鲁棒融合

Robust Aerial–Ground Cooperative Perception

无人机与地面车辆有不同的视角、高度和定位精度。我基于 CoopTrack 实现几何校正与跨主体关联扩展,研究如何让协同感知在观测存在偏差时仍能可靠地工作。

  • PyTorch
  • 3D perception
  • Geometry-aware fusion

原始框架:CoopTrack · Zhong et al. 。个人扩展聚焦几何校正、跨主体关联与融合机制。

METHOD MAP方法与实现
  1. 01

    先对齐,再关联

    在跨主体匹配之前进行几何校正,减少坐标偏差对关联的影响。

    HeightAdaptiveFusion
  2. 02

    几何与语义共同判断

    结合空间关系与特征信息,探索跨视角目标关联。

    ContextAwareAssociation
  3. 03

    分开建模不同主体

    为不同主体保留独立时序参数,研究异构观测的融合。

    VehicleGRU / InfrastructureGRU
方法结构示意 · 对应实现与配置见代码仓库

RESEARCH SNAPSHOT / V2X-SEQ-SPD

AP 提升,伴随召回率下降。

LOC20 条件 · 2026.10.17 归档评测 · 21 场景 / 675 个计分关键帧

Car AP · +2.17 个百分点16.08 → 18.25%

LOC20 条件下,AP 提升。

Car Recall · −24.88 个百分点37.67 → 12.80%

同一组实验中,召回率下降。

Clean 条件下 AP 由 32.21% 降至 31.08%。这组历史时序滤波结果体现了取舍,尚不能作为融合模块的受控增量结论。

实验设置、完整结果与来源 ↗

02 / SELECTED SYSTEMS

从本地对话,到多车调度

代表工程围绕本地智能体与自动驾驶调度展开。

02 / AGENT SYSTEM持续开发 · 暂未公开

Nili 念念

具有记忆与状态管理的本地 AI 伴侣

让本地 AI 对话具有连续的上下文,而不必每次重新介绍自己。我把对话编排、MindCore 状态管理、跨会话记忆和 MCP 工具接入同一个端侧系统。

INTERACTION FLOW / 交互流程示意

  1. 01
    接住这一次对话

    接收输入,组织当前上下文。

  2. 02
    连接此前的记忆

    检索相关记忆,更新 MindCore 状态。

  3. 03
    生成回复,按需使用工具

    通过 llama.cpp 推理,连接 MCP 工具流程。

持续开发中,图像与工具链路仍需进一步完善。
  • Python
  • llama.cpp
  • MCP
  • Memory
实现重点
  • 将情感处理、内部状态与脉冲引擎集中到 MindCore 入口。
  • 组织跨会话记忆检索、摘要与状态持久化。
  • 分离提示词的稳定部分与动态上下文,优化缓存复用。
03 / AUTONOMOUS DRIVING2026 · 竞赛项目

OnSite 运输调度

港区运输赛道 · 全国第 8 名

面对港区路网中的车辆交汇与运输冲突,设计分模式调度和交通咽喉路权方案。作为队长,我独立完成全部方案设计与代码实现。

根据 OnSite 项目车道中心线坐标绘制的真实路网
项目路网 / 真实车道输入数据 · 非运行回放
方案与代码独立完成识别路网模式 → 规划运输路径 → 动态管理咽喉路权
  • Python
  • Planning
  • Traffic scheduling
方案重点

根据路网结构区分调度模式,结合运输任务与交通咽喉动态管理车辆通行,围绕题目分类组织方案与提交工具。

03 / FURTHER EXPLORATIONS

更多好奇,收在这里。

从遥感分析、三维世界模型,到嵌入式与游戏模组。
14 个项目,按方向整理,留给想继续了解的人。

浏览项目索引

04 / ABOUT

关于我与探索轨迹

长沙理工大学 · 人工智能本科在读
2025—2029

我关心感知系统如何在不完整、有偏差的观测中建立对世界的理解。从协同感知到本地智能体,这个问题贯穿着我目前的探索。

也喜欢向下拆解系统:写一个处理器模块、理解一段引导代码,或者把分散的模型与工具接成可以日常使用的应用。

在 GitHub 关注我的实践
  1. 研究与系统并行

    聚焦多模态协同感知,持续开发 Nili,并探索处理器与系统软件。

  2. 算法实践与竞赛

    参与自动驾驶调度、人工智能与数学建模竞赛,将算法放进具体问题。

  3. 从计算机底层开始

    学习数字逻辑、嵌入式开发与计算机组成,尝试构建自己的硬件模块。

  4. 入读长沙理工大学

    开始人工智能专业本科学习。

感知与学习

PyTorch · OpenCV · 点云与多模态融合 · 3DGS · 自监督学习

智能体与应用

Python · llama.cpp · MCP · TypeScript · 记忆与检索 · GPT-SoVITS

系统与硬件

C / C++ · Verilog · Assembly · STM32 · FreeRTOS · PCB

05 / SELECTED HONORS

竞赛与荣誉

全国第 8 名

OnSite 自动驾驶挑战赛

2026 · 港区运输赛道(第九赛道)

个人贡献:队长;全部方案与代码独立完成。

项目代码
校内评比一等奖

MathorCup 高校数学建模挑战赛

2026 · A 题 · 校内唯一一等奖

个人贡献:程序设计与代码实现。属于校内评比,非正式赛事奖项。

项目代码
省级三等奖

中国机器人及人工智能大赛

医学图像分割 · 校赛二等奖

以上年份与个人分工由本人确认。查看记录来源与范围 ↗

其他竞赛与项目经历:电工杯数学建模、服务外包创新创业、大学生光电设计。

LET’S CONNECT

围绕一个具体问题,
开始交流。

欢迎就协同感知、端侧智能体与交通调度交流研究或工程合作。
来信可以附上问题、项目背景,以及你希望一起验证的想法。