Skip to content
最近的项目
2025
社交平台数据分析系统
一个基于 MRC/NeCTAR 云平台与 Kubernetes 构建的分布式社交媒体采集与分析系统，支持对 Mastodon、Reddit、Bluesky 三个平台进行实时数据抓取、处理与可视化查询。
- 部署在 MRC/NeCTAR Research Cloud，通过 OpenStack CLI 创建 Kubernetes 集群。
- 设计事件驱动架构，使用 Fission 构建多函数模块，支持定时与 tag 驱动抓取。
- 利用 Redis 实现函数解耦，协调数据在收集、处理、验证过程中的异步流转。
- 在处理阶段使用 VADER 执行情感分析，并使用 YAKE 提取关键词信息。
- 通过字段完整性校验与重复检测，仅保留结构合法的数据写入 Elasticsearch。
- 构建 RESTful 接口支持前端传入关键词、时间范围等条件进行查询。
- 设计统一索引结构 socialplatform，实现三平台数据融合存储与分析。
- 集成 Kibana 与 Jupyter Notebook 实现场景驱动的图表与趋势探索。
- 支持多用户场景，如 AFL 热度分析、生活成本舆情、大选民意趋势追踪。
- 通过 GitLab 实现团队协作开发与分支管理，保证开发流程规范可控。
基于 MPI 的 Mastodon 数据并行处理
一个高性能的并行数据处理管道，利用 MPI 对超过 144GB 的 Mastodon 数据集（.ndjson 格式）进行分析。该项目旨在测试不同节点与核心配置下的分布式环境性能。
- 使用 Python 的 `mpi4py` 结合 MPI 按行解析并处理 Mastodon 帖子数据，将任务分发至不同节点和核心。
- 实现情感分析与字段提取的模块化函数，支持自定义过滤与标签逻辑。
- 编写 SLURM 脚本在高性能计算集群上运行任务，测试 1n1c、1n8c 和 2n8c 的配置。
- 通过 Linux 的 time 命令与 `/proc` 指标测量并比较不同配置下的执行时间与 CPU 利用率。
- 在无需修改代码的前提下，从 1 核扩展到 2 节点 × 4 核心，性能提升达 22.85 倍，展示出良好的可扩展性。
- 使用健壮的异常处理机制与逐行校验处理 `.ndjson` 数据中的错误与格式问题。
- 将运行结果与统计信息输出到日志与错误文件中，便于后续性能分析与调试。
2024
DataBricks 系统平台
一个支持动态控制与监控 DataBricks 安装的综合性 Web 平台。系统通过实时网格布局与同步视频播放，实现对 226 块 LED 显示砖的集中管理与可视化。
- 以 7 人敏捷开发团队合作完成，采用每周迭代评审与 Git 协同开发。
- 设计并实现前端逻辑，动态展示每块砖块状态与位置，适配响应式布局。
- 使用 FFmpeg 自动转换图片、GIF 与视频为标准 MP4（854×480）格式。
- 实现多砖块间帧级同步播放，确保群组或拼接展示效果一致。
- 生成可追溯的唯一媒体文件名，基于展演名称、艺术家名与时间戳组合。
- 开发快速设置工具，跳过拖拽限制，高效为 226 块砖批量分配视频。
- 使用 AWS Cognito 与一次性验证码（OTP）实现访问权限与身份验证。
- 集成 AWS SES 自动发送访问链接与验证码邮件通知。
- 基于 AWS S3 与 Prisma 实现媒体资产与元数据的统一管理。
分布式协作白板系统
基于 Java 构建的分布式白板系统，支持多客户端的实时协作。项目聚焦于服务端与客户端同步、远程方法调用（RMI）以及图形界面易用性设计。
- 构建支持一名管理者与多个客户端的集中式服务架构
- 通过共享服务接口实现实时同步与数据一致性保障
- 使用 Java RMI 实现客户端与服务器组件之间的远程通信
- 设计远程对象以处理画布更新、用户行为及服务器协调
- 基于 Java Swing 开发 GUI 组件，包括工具栏、绘图区与聊天窗口
- 打包并发布客户端与服务器端可执行文件：CreateWhiteBoard.jar 与 JoinWhiteBoard.jar
- 实现绘图工具、颜色选择、聊天功能与用户列表等界面功能
- 支持多用户实时协同编辑，实现白板操作同步
多线程字典服务器
一个基于 TCP 的客户端-服务器字典应用程序，支持并发用户进行查询、添加、删除与更新操作。使用 Java 开发，结合 Swing 图形界面与 JSON 数据存储，展示了多线程编程、错误处理与实时交互能力。
- 实现基于请求的线程架构，支持多个客户端同时访问，确保字典数据一致性。
- 使用 Java Swing 构建直观的 GUI 界面，客户端采用标签页设计，服务器端包含监控面板与词条查看器。
- 定义结构化 JSON 格式，并通过 Jackson 实现字典项的序列化与反序列化。
- 支持查询、添加、删除与更新四大操作，每次操作通过独立 TCP 连接发起。
- 实现线程间共享资源的同步机制，防止数据冲突。
- 设计健壮的异常处理机制，应对无效请求、参数缺失与服务器不可用等情况。
- 客户端对用户输入进行验证，若操作失败则提供清晰反馈信息。
- 服务器 GUI 实时记录请求，动态更新字典状态并记录操作日志。
2023
录音管理平台（C-LARA）
一款全栈式 Web 应用，用于简化 C-LARA 系统中录音条目的创建与管理。项目重点在于构建响应式用户界面与安全、可扩展的后端服务。
- 主导开发基于 React 的前端页面，提升录音创建的用户体验。
- 在由 5 人组成的敏捷团队中协作（2 位前端，3 位后端），每周开展迭代与代码评审。
- 使用 React 与 TypeScript 构建可复用、动态化的 UI 组件，提升维护性与可扩展性。
- 集成 Material-UI，设计并实现 5 个以上定制组件，增强交互体验与界面一致性。
- 主导用户认证功能实现，结合 Django REST 框架与 JWT 提供安全的令牌认证机制。
- 利用 Axios 实现前后端高效通信，保持模块边界清晰独立。
- 采用多样化技术栈，支持前后端可扩展功能的开发与部署。