说明:收录25万 73个行业的国家标准 支持批量下载
ICS 35.240.01 L 70 中华人民共和国国家标准 GB/T 36625.3—2021 智慧城市 数据融合 第3部分:数据采集规范 Smart cityData fusionPart 3:Data acquisition specifications 2021-04-30发布 2021-11-01实施 国家市场监督管理总局 发布 国家标准化管理委员会 GB/T 36625.3—2021 目 次 前言 1 范围 2 规范性引用文件 3 术语和定义 缩略语 数据采集过程 6 数据采集内容 数据采集技术 7.1 数据采集技术要求 7.2 数据采集方法 数据采集质量控制 8.1 数据质量控制原则 8.2 数据质量控制方式 8.3 数据质量评价方法 数据采集安全控制 9.1 数据安全要求 9.2 安全控制方法 GB/T36625.3—2021 前言 GB/T36625《智慧城市数据融合》分为以下五个部分: 第1部分:概念模型; 一第2部分:数据编码规范; —第3部分:数据采集规范; 一第4部分:开放共享要求; 一第5部分:市政基础设施数据元素。 本部分为GB/T36625的第3部分。 本部分按照GB/T1.1一2009给出的规则起草。 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任 本部分由中华人民共和国工业和信息化部提出。 本部分由全国通信标准化技术委员会(SAC/TC485)归口。 科技有限公司、软通智慧科技有限公司、北京清华同衡规划设计研究院有限公司、上海竹呗信息技术有 限公司、华为技术有限公司、深圳市华傲数据技术有限公司、中国电子科技集团公司信息科学研究院、讯 飞智元信息科技有限公司、中兴通讯股份有限公司、中冶京诚工程技术有限公司、广东珠光集团有限公 司、吉林吉大通信设计院股份有限公司、中国电子技术标准化研究院、中国信息通信研究院、山东省标准 化研究院、建设综合勘察研究设计院有限公司。 本部分主要起草人:万碧玉、吴丽丽、马蓉、王飞飞、王圣波、聂明、崔昊、龚健、李赞、苏平、朱崇亚、 姜栋、李玲玲、曹余、李宁丽、黎俊茂、毛汉平、刘雅晶、佟敏、刘朝晖、李海龙、单峰、张红卫、方可、臧磊、 杜青峰、李公立、刘棠丽、孙郁頔、陈慧文、王建新、于富东、王树东。 GB/T36625.3—2021 智慧城市数据融合 第3部分:数据采集规范 1范围 GB/T36625的本部分规定了智慧城市数据融合过程中数据采集过程、数据采集内容、数据采集技 术、数据采集质量控制及数据采集安全控制。 本部分适用于智慧城市各系统的规划设计、建设和管理,其他信息化领域的数据采集过程也可参考 使用。 2 2规范性引用文件 下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件,仅注日期的版本适用于本文 件。凡是不注日期的引用文件,其最新版本(包括所有的修改单)适用于本文件。 GB/T5271.1信息技术词汇第1部分:基本术语 GB/T22239信息安全技术网络安全等级保护基本要求 GB/T31916.1一2015信息技术云数据存储和管理第1部分:总则 GB/T36625.1—2018智慧城市数据融合第1部分:概念模型 3术语和定义 GB/T5271.1、GB/T36625.1一2018界定的以及下列术语和定义适用于本文件。为了便于使用, 以下重复列出了GB/T36625.1一2018中的某些术语和定义。 3.1 数据融合datafusion 集成多个数据源以产生比任何单独的数据源更有价值信息的过程。 [GB/T36625.1—2018,定义3.1] 3.2 数据采集 data acquisition 从数据源中得到原始数据,通过标准化处理并转化为满足数据共享与利用需求的过程。 4缩略语 下列缩略语适用于本文件。 CCKS:组合诚信密钥系统(CombinedCreditKeySystem) CPK:组合公钥(CombinedPublicKey) FTP:文件传输协议(FileTransferProtocol) HTTP:超文本传输协议(HyperTextTransferProtocol) HTTPS:超文本传输安全协议(HyperTextTransferSafeProtocol) JDBC.Java数据库连接(JavaDataBaseConnectivity) 1 GB/T36625.3—2021 MQTT:消息队列遥测传输(MessageQueuingTelemetryTransport) ODBC:开放数据库互连(OpenDatabaseConnectivity) OPC:对象连接和嵌入技术在过程控制规范(ObjectLinkingandEmbeddingforProcessControl) PKI:公钥基础设施(PublicKeyInfrastructure) PDA:数据采集器(PersonalDigitalAssistant) 注:又称掌上电脑。 REST:表述性状态转移(RepresentationalStateTransfer) TCP:传输控制协议(TransmissionControlProtocol) UDP:用户数据报协议(UserDatagramProtocol) VPN:虚拟专用网络(VirtualPrivateNetwork) 5数据采集过程 数据采集过程实现对数据的交换与提取、数据汇聚处理、数据安全加密压缩,并提供质量控制、安全 控制等辅助工具,如图1所示。 数据源选择 连接 通讯 采集方式选择 人工 系统 (填报/导入) (白动) 数据汇聚 清洗 转换 分析 去重/校验 标准化 有效性 数据存储 目标源连接 数据融合库 图1# 数据采集过程 数据采集过程包括: 数据源选择:根据需要采集数据的数据源类型(如:文件、数据库、传感器等),确定数据源连接 通讯的方式,明确采集标准范围及属性。可支持结构化数据和非结构化数据类型;可支持JD BC、ODBC、OPC、MQTT、Modbus等多种连接方式;可支持TCP、UDP、FTP、HTTP等通讯 协议。 数据采集方式选择:数据采集分为人工采集和系统采集两种,通过分析相关数据源类型,根据 可操作性、成本导向等原则选定数据采集方式。 数据汇聚:对采集的原始数据进行清洗、转换、分析等处理,确保数据的完整性、准确性和时 效性。 数据存储:可按照GB/T31916.1一2015的规定进行,处理后的数据存储应满足海量、安全、高 性能、高可靠、易管理。 2 GB/T36625.3—2021 数据质量:数据采集周期内,应保证数据的完整性、准确性、一致性、时效性、可访问性、可追 溯性。 数据安全:数据采集周期内,应按数据安全及安全控制要求,实现授权访问、可定位溯源、数据 加密、安全审计及监测等。 6数据采集内容 从智慧城市建设与管理需求及我国智慧城市实践经验角度,智慧城市数据采集内容包括但不限于 基础数据、专题数据、业务专属数据和其他数据四大类: 基础数据,如人口、法人单位、自然资源、地理空间、宏观经济、电子证照等数据; 一专题数据,如房屋、城市部件、网格等与智慧城市相关的公共共享数据; 一业务专属数据,如涉及公安、公共卫生和医疗、教育、民政、交通、水利、人力资源和社会保障、市 场监管等众多领域的业务数据; 一其他数据,如互联网、工业、商业等数据。 7数据采集技术 7.1数据采集技术要求 数据采集技术应具备复杂网络环境下、不同异构数据源之间高速、稳定、弹性伸缩的数据移动及同 步能力。采集技术包括但不限于: 针对结构单一、数据量相对较小的结构化数据,可通过数据库表、文件、网络服务(Web Service)、REST、HTTP/HTTPS、消息订阅/发布等技术进行数据采集; 针对传感器、智能手机、PDA设备、网络等渠道产生的类型丰富、数据量较大的数据,可通过分 布式系统接口、分布式流数据收集、网络爬虫等技术进行数据采集; 针对由麦克风、摄像头等设备产生的海量音视频数据,可通过语音图像识别、编解码等技术转 化后进行数据采集; 针对问卷调查、实地调研、资料分析等产生的数据,可通过在线填报、离线导人等人工转化方式 进行数据采集 7.2数据采集方法 7.2.1人工采集 通过人工填报、人工导入等方式获得数据。 7.2.2系统采集 通过系统自动录人等方式获得数据,并应满足下列要求: 支持全量、历史数据采集:应提供数据传输服务、高并发的离线数据上传下载服务,支持TB/ PB级别的数据导入(全量数据或历史数据的批量导人)及导出; 支持实时或定时增量数据采集:宜提供实时同步、定时采集、数据订阅、日志采集等服务; 一支持条件过滤:按照指定条件进行指定过滤采集,例如字段内容: 一支持采集作业管理和调度:采集作业支持条件触发、并发调度、周期循环调度等模式:支持对作 业启动、停止、暂停、恢复等操作; 一支持数据标签:依据数据清洗要求为数据标记数据标签; 一支持数据建模:提供基于不同业务需求进行数据建模功能 3 GB/T36625.3—2021 8数据采集质量控制 8.1 数据质量控制原则 对数据的质量控制应贯穿整个采集过程,遵循但不限于以下原则: a) 完整性:应包含数据规则要求的数据的必要元素; b) 准确性:应真实反映数据所描述的实体; c) 一致性:应保证数据与其他特定上下文中使用的数据无矛盾; d) 时效性:应保证数据发生变化后及时被更新; e) 可访问性:应保证数据在需要时能被安全访问; 可追溯性:应保证数据能够被跟踪和管理。 8.2 数据质量控制方式 8.2.1 数据清洗 数据清洗过程管理应包括但不限于: a) 数据分析:应对数据源进行分析,及时发现数据源存在的质量问题; b) 定义清洗规则:包括空值的检查和处理、非法值的检测和处理、不一致数据的检测和处理、相似 重复记录的检测和处理等; 执行数据清洗规则:依据定义的清洗规则,补足残缺/空值、纠正不一致、完成数据拆分、数据合 并或去重、数据脱敏、数据除噪等; d)清洗结果验证:数据清洗方应对定义的清洗方法的正确性和效率进行验证与评估,对不满足清 洗要求的清洗方法进行调整和改进。数据清洗过程宜多次迭代并进行分析、设计和验证。 8.2.2数据转换 应对数据的标准代码、格式、类型等进行转换。必要时,可建立“数据转换规则表”。 8.2.3数据分析 应通过数据聚合、数据归类、数据关联等方法,分析采集的数据,形成上下文完整有效的数据。 8.3 3数据质量评价方法 数据质量评价方法可分为定性评价法和定量评价法: a)定性评价法可根据事先确定的评价指标,对数据的安全性、目的、用途、日志以及用户自定义项 目进行评价; b)定量评价法可采用数据质量检测软件检查数据质量,也可通过辅助工具结合人工识别分析方 法进行人工检查。一般可分为全数检查和抽样检查: 1)针对国家强制要

pdf文档 GB/T 36625.3-2021 智慧城市 数据融合 第3部分:数据采集规范

文档预览
中文文档 8 页 50 下载 1000 浏览 0 评论 0 收藏 3.0分
温馨提示:本文档共8页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
GB/T 36625.3-2021 智慧城市 数据融合 第3部分:数据采集规范 第 1 页 GB/T 36625.3-2021 智慧城市 数据融合 第3部分:数据采集规范 第 2 页 GB/T 36625.3-2021 智慧城市 数据融合 第3部分:数据采集规范 第 3 页
下载文档到电脑,方便使用
本文档由 SC 于 2022-10-04 14:18:34上传分享
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。