通用数据架构思考(二):异步任务系统设计
承接 Edge-to-Cloud 数据上传,梳理转码、质检、索引与建集如何进入可靠的异步任务系统,并比较 Queue、DAG、Durable Workflow、Spark Batch 与 Stream Processing。
EXPLORE A TOPIC
关于这个话题的笔记与思考。
承接 Edge-to-Cloud 数据上传,梳理转码、质检、索引与建集如何进入可靠的异步任务系统,并比较 Queue、DAG、Durable Workflow、Spark Batch 与 Stream Processing。
从机器人数据平台的经验出发,梳理多模态数据如何在边缘采集、可靠上传、异步处理、筛选建集,并形成可追溯的数据闭环。通用数据架构思考系列第一篇。