ICS03.220.20 R11 团体标准 T/SUPTA007.2—2022 公交数据平台技术规范 第2部分：数据管理 Technicalspecificationofpublictransportdataplatform— Part2：Datamanagement 2022-09-16发布 2022-10-01实施 山东省城市公共交通协会发布 全国团体标准信息平台 全国团体标准信息平台 T/SUPTA007.2—2022 Ⅱ目次 前言.............................................................................Ⅲ 1范围............................................................................1 2术语和定义......................................................................1 3数据采集技术....................................................................1 4数据存储技术....................................................................2 5数据集成技术....................................................................3 6数据处理技术....................................................................3 7数据服务技术....................................................................4 8数据交换共享技术................................................................5 9数据质量管理技术................................................................6 10数据安全管理...................................................................7 参考文献..........................................................................8 全国团体标准信息平台 T/SUPTA007.2—2022Ⅲ 前言 T/SUPTA007《公交数据平台技术规范》，分为2个部分： ——第1部分：接口规范； ——第2部分：数据管理。 本部分为T/SUPTA007的第2部分。 本部分按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》 的规定起草。 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。 本部分由山东省城市公共交通协会提出并归口。 本部分起草单位：济南市城市交通研究中心有限公司、杭州数知梦科技有限公司、济南公共 交通集团有限公司、青岛真情巴士集团有限公司、山东中城客标技术咨询服务有限公司。 本标准主要起草人：石军、周建国、王瑞利、李峰、吴存钱、程鹏、周欣、王逢宝、何伟、 杨增勇、杜元正、王浩、何川、张丽梅、吴玉荣、张航、李延娜、孙庆军、张静、赵南哲、崔亚 飞、王茂辉、何顺顺、李艳东、杨范、崔浩然、郭佳慧、张强、田甜、徐碧鸿。 全国团体标准信息平台 T/SUPTA007.2—2022 1公交数据平台技术规范第2部分：数据管理 1范围 本部分规定了公交数据平台的数据采集技术、数据存储技术、数据集成技术、数据处理技术、 数据服务技术、数据交换共享技术、数据质量管理技术、数据安全管理的要求。 本部分适用于公交数据平台建设的规划、设计和实施。 2术语和定义 下列术语和定义适用于本文件。 2.1 数据采集技术dataacquisitiontechnology 依照公交数据平台使用机构的需求，从公交数据平台有效的数据源中获取和收集各种形态数 据的相关管理技术，包括数据源的发现与定位、数据采集与提取等相关技术。 2.2 数据集成技术dataintegrationtechnology 把不同来源、不同格式、不同技术实现的数据，进行数据比对、数据清洗和数据整合等工作， 在逻辑上或物理上形成更为完整的数据集合所需的相关技术。 2.3 数据处理技术dataprocessingtechnology 为满足公交数据平台应用需求而提供的多钟形式的技术手段，包括常用的数据分析服务和数 据展现服务等相关技术。 2.4 数据服务技术dataservicetechnology 把公交数据平台中的数据及相关处理功能发布为服务的相关技术，包括服务发布、服务访问、 服务变更、服务监控等。 2.5 数据质量管理技术dataqualitymanagementtechnology 通过对数据质量指标、要素、规则等功能与性能的约定，规范公交数据平台的技术方法。 2.6 元数据metadata 关于数据的数据。 注：公交数据平台中的元数据主要有技术元数据和业务元数据，以计算机系统处理为主要形式。技术元数据 是指从IT技术实现角度描述数据的技术概念、关系和规则的数据，主要包括对数据结构、数据处理方面的特征描 述。业务元数据是指从用户业务角度描述数据的概念、关系和规则的数据，它提供了介于使用者和实际系统之间 的语义层，使得业务使用人员不需要了解技术实现原理，也能够明白综合分析系统中的数据脉络和数据定义。 2.7 自描述self-explanatory 数据源能自动提供所属单位、数据内容、数据关联、数据类型、更新频率、访问方式等属性 的功能，并以服务形式提供给公交数据平台发现、定位及为服务使用机构所使用。 3数据采集技术 全国团体标准信息平台 T/SUPTA007.2—2022 2数据采集技术要求应符合T/SUPTA006.2—2022中第5章的规定。 4数据存储技术 4.1存储调度技术要求 存储调度应符合以下要求： a)支持存储调度，根据服务使用机构需要，有计划地对存储节点的迁移、扩容、复制、更改、 删除等操作进行规划和自动执行； b)提供智能化的存储资源调度管理策略，并能将这些基础资源合理、按需提供给服务使用机 构使用； c)提供满足不同任务需求的存储服务动态调度机制； d)通过相应的权限和排队机制进行服务的调度处理，以平衡各类应用压力，优化资源的应用； e)提供让服务使用机构可以按任意的时间间隔（年、月、日、时、分、秒等）自动调度； f)支持副本调度策略。 4.2存储监控技术要求 存储监控符合以下要求： a)可灵活配置数据监控内容及监控策略； b)应提供存储状态监控； c)应提供监控、追踪和关联分布式文件系统的各部件运行过程中所执行的特定操作，应支持 分布式文件系统的运行时行为，支持直观了解和分析系统当前运行状况和执行过程，快速有效地 定位问题根源和系统设计中的问题； d)可对运行在分布式计算框架中的作业任务进行监控； e)应提供对分布式文件系统监控，监控信息应包括节点信息、文件/数据块信息及其历史操 作和排名等信息； f)应提供对网络带宽和硬盘占用情况等物理资源性能指标的监控； g)数据存储监控应以服务方式提供。 4.3存储管理技术要求 存储管理应符合以下要求： a)满足公交数据平台不同类型的服务使用机构需求，为不同服务使用机构提供不同级别的数 据存放策略，提供文件存储分级功能，如单机级、跨服务器级、跨机柜级以及跨数据中心级； b)为单个服务使用机构提供独立逻辑数据存储空间，在多服务使用机构之间采用数据隔离机 制； c)提供多种数据模型融合的功能； d)提供动分层和精简配置等提高存储效率的工具； e)提供数据导入/导出和数据迁移等功能。 4.4存储备份技术要求 存储备份应符合以下要求： a)支持实例运行的容错机制，支持多实例并行运行，任一实例宕机不会影响应用可用性，系 统自动完成运行实例与数据的恢复； b)支持集中控制的数据备份，对不同数据实例制定具体的数据备份策略； 全国团体标准信息平台 T/SUPTA007.2—2022 3c)支持系统提供错误监控机制，对于故障采取自动迁移，采用多份冗余备份来确保数据的安 全性，系统达到高可用性； d)支持镜像备份； e)支持灾难恢复和裸机恢复； f)支持备份负载与应用程序分离； g)支持源端重复数据消重； h)支持备份数据压缩存储； i)支持异地备份。 5数据集成技术 5.1数据抽取服务技术要求 数据抽取服务符合以下要求： a)应支持结构、半结构和非结构等不同类型的数据源的数据抽取，支持主流安全可控的数据 库系统和数据仓库系统； b)应支持全量抽取、增量抽取、基于日志的抽取等抽取模式，支持地理空间信息数据抽取； c)应具备扩展能力，可支持NoSQL等非关系数据库； d)数据抽取数据格式及抽取流程支持服务使用机构自定义配置。 5.2数据转换服务技术要求 数据转换服务符合以下技术要求： a)应提供数据校验功能，如空值检测、长度检查、数值范围检查、正则表达式校验等； b)应提供数据表转换功能，如字段值替换、值映射、列转行、行转列、记录合并、记录排序、 去除重复记录等； c)应提供数据运算处理功能，如