(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210923517.2 (22)申请日 2022.08.02 (71)申请人 上海航空工业(集团)有限公司 地址 200232 上海市徐汇区云锦路5号 申请人 商飞软件 有限公司 (72)发明人 单华　徐洁　施怡　吕泽巨　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 专利代理师 赵兴 (51)Int.Cl. G06F 16/22(2019.01) G06F 16/21(2019.01) G06F 16/25(2019.01) G06F 16/28(2019.01) (54)发明名称 一种数据处理方法、 系统、 装置、 电子设备和 存储介质 (57)摘要 本申请提供了一种数据处理方法、 系统、 装 置、 电子设备和存储介质， 该方法包括： 当通过数 据类型识别路由接收到数据库发送的第一数据 后， 控制数据类型识别路由识别第一数据的数据 类型； 基于识别出的数据类型， 调用对应的目标 收集服务收集第一数据； 通过无感收集探针收集 数据库中的第二数据； 控制数据解析引擎对第一 数据/第二数据进行解析并导入到数据存储库 中； 当通过民机工程算法库接收到计算指令时， 通过数据访问引擎提供的访问接口从数据存储 库中调取计算指令中涉及的计算数据， 以控制民 机工程算法库基于计算数据进行计算并得到计 算结果。 本申请实施例通过上述方法， 有助于管 理民机工程计算数据。 权利要求书2页 说明书11页 附图3页 CN 115292321 A 2022.11.04 CN 115292321 A 1.一种数据处 理方法， 其特 征在于， 包括： 当通过数据类型识别路由接收到数据库发送的第 一数据之后， 控制所述数据类型识别 路由识别所述第一数据的数据类型； 基于识别出的所述数据类型， 调用对应的目标收集服务对所述第一数据进行收集； 所 述目标收集服务包括用于收集数据类型为结构化数据的数据写入服务、 用于收集时序数据 和流式数据的流式数据收集管道服 务、 用于收集非结构化数据的对象存 储服务； 通过无感收集探针收集所述数据库中的第二数据； 所述第二数据包括本地文件和数 据， 所述第二数据是 所述无感收集探针在数据采集触发对象被 触发时收集到的； 控制数据解析引擎对所述第一数据/所述第二数据进行解析并导入到数据存储库中； 所述数据存 储库中包括用于存 储不同数据类型的数据的子数据库； 当通过民机工程算法库接收到计算指令时， 通过数据访问引擎提供的访问接口从所述 数据存储库中调取所述计算指 令中涉及的计算数据， 以控制所述民机工程算法库基于所述 计算数据进行计算并得到计算结果。 2.根据权利要求1所述的方法， 其特征在于， 在控制数据解析引擎对所述第一数据/所 述第二数据进行解析并导入到数据存 储库中之前， 所述方法还 包括： 对所述第 一数据/所述第 二数据进行进制转换， 以将所述第 一数据/所述第 二数据中的 数据转换成十进制数据。 3.根据权利要求1所述的方法， 其特征在于， 控制数据解析引擎对所述第一数据/所述 第二数据进行解析， 包括： 针对每个目标数据， 对所述目标数据中数据结构进行分析； 所述目标数据为所述第一 数据， 或者所述第二数据； 基于分析后得到的数据结构， 对所述目标 数据中的特定数据进行提取； 将提取后的特定数据整合成该目标数据对应的数组数据或对象数据， 以优化所述目标 数据的数据结构。 4.根据权利要求1所述的方法， 其特征在于， 所述数据解析引擎采用ray分布式框架， 以 实现多节点执 行导入服 务。 5.根据权利要求1所述的方法， 其特征在于， 所述子数据库包括： 关系型数据库服务 RDS、 文档型的非关系数据库MongoDB、 数据管理引擎IotDB、 开源对象存储套件minIO、 键值 对存储数据库Redis、 分布式文档数据库ES； 所述数据访问引擎中提供有用于访问所述数据存储库中每个子数据库的访问接口； 所 述数据访问引擎包括IotDB引擎、 MongoDB引擎、 关系型数据库管理系统MySQL引擎、 运营支 撑系统OS S引擎和分布式系统基础架构Hado op引擎。 6.根据权利要求1所述的方法， 其特征在于， 所述第 一数据和所述第 二数据均为民机工 程计算数据； 所述民机 工程计算数据存 储在所述数据库中； 在得到所述计算结果后， 还 包括： 将所述计算结果作为所述民机工程计算数据存储到所述数据库中， 以使所述数据库将 所述计算结果发送给 所述数据类型识别路由/所述无感收集探针。 7.一种数据处 理系统， 其特 征在于， 包括： 数据库， 用于存 储民机工程计算数据；权　利　要　求　书 1/2 页 2 CN 115292321 A 2数据类型识别路由， 与所述数据库通信连接， 用于接收所述数据库发送的第一数据并 识别所述第一数据的数据类型； 无感收集探针， 与所述数据库通信连接， 用于从所述数据库 收集第二数据； 所述第二数据包括本地文件和数据； 数据收集服务库， 用于基于所述数据类型识别路由识别出的所述数据类型提供目标收 集服务， 以基于所述 目标收集服务对所述第一数据进行收集； 所述数据收集服务库中包括 用于收集数据类型为结构化数据的数据写入服务、 用于收集时序数据和流式数据的流式数 据收集管道服 务、 用于收集非结构化数据的对象存 储服务； 数据解析引擎， 与所述数据收集服务库和所述无感收集探针通信连接， 用于获取所述 第一数据和所述第二数据， 并对所述第一数据和所述第二数据进行解析； 数据存储库， 与所述数据解析引擎通信连接， 用于从所述数据解析引擎获取解析后的 第一数据、 解析后的第二数据， 并根据数据类型， 将解析后的第一数据、 解析后的第二数据 存储到对应的子数据库中； 数据访问引擎， 用于提供访 问所述数据存储库中每个子数据库的访 问接口， 以通过所 述访问接口对所述子数据库中的数据进行 数据查询和数据抽取； 民机工程算法库， 分别与所述数据访问引擎、 所述数据库通信连接， 用于通过所述数据 访问引擎提供的访问接口从所述数据存储库获取到计算数据， 并基于所述计算数据进 行数 据运算， 得到计算结果， 以及用于将所述计算结果发送给 所述数据库。 8.一种数据处 理装置， 其特 征在于， 所述装置包括： 识别单元， 用于当通过数据类型识别路由接收到数据库发送的第一数据之后， 控制所 述数据类型识别路由识别所述第一数据的数据类型； 第一收集单元， 用于基于识别出的所述数据类型， 调用对应的目标收集服务对所述第 一数据进行收集； 所述目标收集服务包括用于收集数据类型为结构化数据 的数据写入服 务、 用于收集时序数据和流式数据的流式数据收集管道服务、 用于 收集非结构化数据的对 象存储服务； 第二收集单元， 用于通过无感收集探针收集所述数据库中的第二数据； 所述第二数据 包括本地文件和数据， 所述第二数据是所述无感收集探针在数据采集触发对象被触发时收 集到的； 解析单元， 用于控制数据解析引擎对所述第一数据/所述第二数据进行解析并导入到 数据存储库中； 所述数据存 储库中包括用于存 储不同数据类型的数据的子数据库； 调用单元， 用于当通过民机工程算法库接收到计算指令时， 通过数据访 问引擎提供的 访问接口从所述数据存储库中调取所述计算指 令中涉及的计算数据， 以控制所述民机工程 算法库基于所述计算数据进行计算并得到计算结果。 9.一种电子设备， 其特征在于， 包括： 处理器、 存储介质和总线， 所述存储介质存储有所 述处理器可执行 的机器可读指令， 当电子设备运行时， 所述处理器与所述存储介质之间通 过总线通信， 所述处理器执行所述机器可读指令， 以执行如权利要求1至6中任一项所述数 据处理方法的步骤。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有计算机 程序， 所述计算机程序被处理器运行时执行如权利要求 1至6中任一项 所述数据处理方法的 步骤。权　利　要　求　书 2/2 页 3 CN 115292321 A 3