目录
1 总体建设方案概述 4
1.1 项目建设目标 4
1.2 项目建设内容 5
1.2.1 建设数据交换子平台 6
1.2.2 建设数据治理子平台 6
1.2.3 建设数据资源门户 7
1.2.4 建设数据资源中心 8
1.3 总体建设方案 9
1.3.1 中心总体定位 9
1.3.2 总体解决方案 9
1.3.3 项目实施方案 12
2 资源平台建设方案 13
2.1 平台总体架构 13
2.2 数据交换子平台建设 13
2.2.1 建设方案概述 13
2.2.2 数据交换配置 15
2.2.3 数据交换前置 15
2.2.4 数据共享服务 16
2.2.5 数据共享接口 18
2.2.6 数据交换监控 18
2.3 数据治理子平台建设 19
2.3.1 建设方案概述 19
2.3.2 资源目录管理 21
2.3.3 数据标准管理 25
2.3.4 元数据管理 28
2.3.5 数据质量管理 32
2.3.6 数据开发平台 35
2.3.7 统一调度管理 37
2.3.8 数据资产管理 40
2.4 数据资源门户建设 45
2.4.1 门户首页设计 46
2.4.2 统一用户管理 46
2.4.3 统一认证授权 46
2.4.4 整合资源管理 48
2.4.5 统一审批管理 48
2.4.6 资源目录服务 48
2.4.7 统一消息管理 49
2.4.8 统一日志管理 50
2.4.9 统一监控运维 52
3 资源中心建设方案 58
3.1 中心总体定位设计 58
3.1.1 总体设计 59
3.1.2 设计原则 60
3.1.3 设计思路 61
3.1.4 数仓设计 62
3.1.5 数据安全 62
3.2 建设XX区级数据湖 64
3.2.1 数据湖数据架构 64
3.2.2 数据湖数据范围 66
3.3 完成数据对接实施 67
3.4 建设XX区基础库 67
3.4.1 人口综合库建设 67
3.4.2 法人综合库建设 70
3.4.3 电子证照库建设 74
3.4.4 空间地理库建设 74
3.5 建设XX区主题库 75
3.5.1 主题库建设概述 75
3.5.2 主题库建设方法 76
3.5.3 一网通办主题库 78
3.5.4 一网统管主题库 81
3.5.5 城市规划主题库 83
3.6 建设XX区专题库 84
3.6.1 应急专题库概述 84
3.6.2 管理对象专题库 85
3.6.3 灾害事件专题库 86
3.7 三清单一目录梳理 86
3.7.1 建设背景 86
3.7.2 总体目标 87
3.7.3 梳理思路 87
3.7.4 梳理工作开展 89
3.7.5 一目录三清单梳理培训 91
3.7.6 一目录三清单梳理指导 93
3.7.7 一目录三清单梳理交付内容 94
3.7.8 梳理工作要求 95
区级大数据资源平台建设的核心是汇聚全区各类公共数据,建立面向政务顾问、经济发展、城市管理、社会公共服务与乡村振兴的数据资源库与数据服务。为智慧城市提供全面、高效、安全、智能的数据管理与应用支撑,是智慧城市建设总体战略与落地规划中的重要组成部分。

针对区级大数据资源平台的建设,我们将基于当前主流的大数据技术框架为XX区搭建一个大数据管理与应用平台。利用数据平台的数据采集功能,将XX区各级政府单位的政务数据、城市管理相关的监控视频等物联数据、企业事业单位数据,互联网等社据汇聚起来,形成统一的XX区级大数据资源池。
之后,在利用平台的数据治理与建模开发能力,将采集到的数据有效地进行分类整理与融合,构建诸如综合人口库、产业经济主题库、旅游数据库、菜园花鸟数据库,乡村产业经济振兴库等数据应用服务,并利用统一门户将相关数据应用对外开放,向XX区各级单位、企事业单位等用户提供数据服务,由此构建XX区的数据资源中心,实现对全区政务等数据的集中汇聚、统一管理与共享利用,为全区政务处理与经济发展提供数据支撑。具体,本次项目的解决方案蓝图如下:

区级大数据资源平台平台基于基础设施(网络&技术&存储)、技术标准体系规范及信息安全保障体系建设数据支撑底座、数据交换、数据资源中心(基础及融合数据库)、数据整理治理、数据服务、数据分析、数据共享应用及数据资源门户模块,并实现与S市大数据资源平台的共享与交换。


架构关系说明:
ü 基于数据治理平台,搭建数据治理产线:各个委办局梳理资源,形成目录清单并制定数据治理相关规范,基于目录及规范搭建数据治理产线;
ü 数据共享交换平台:数据治理/服务/分析平台设置数据归集调度任务,通过数据源采集数据到数据湖(数据资源中心);
ü 数据源:各个委办设置前置机放置源数据;
ü 数据资源中心:对通过数据共享交换平台采集的数据进行存储;
ü 数据基础支撑平台:数据治理/服务/分析平台通过数据基础支撑平台进行数据读取、处理与存储;
ü 数据资源门户:通过治理后资源在门户进行展示,并为各个委办提供浏览及申请入口,同时经过申请的数据如果需要清洗/转换操作,则数据治理平台将根据治理规范及产线进行数据的加工处理,并将处理后的有效数据同步给门户;
ü 数据共享交换平台:用户经过门户申请的数据,将通过数据共享交换平台进行数据的共享。
ü 统一维护平台及数据安全管理将为整个数字区级大数据资源平台的平台建设保驾护航。
在本项目中,首先需要建设一套大数据资源管理与应用平台,并基于大数据资源管理与应用平台,利用平台中的各类功能,通过汇聚数据、数据治理、数据开发与数据服务等手段,逐步建设各类区级数据资源(包括:数据湖、基础库、主题库、主题库等)。
具体,项目的总体建设实施方案如下:

区级大数据资源平台的总体架构由支撑体系(标准规范支撑体系、管理运行维护支撑体系、安全支撑体系)、网络系统、信息资源平台软硬件系统环境、平台应用系统(数据支撑底座、数据交换子平台、数据整理治理子平台、数据资源门户),以及数据资源中心(数据湖、基础库、主题库、专题库)组成。具体平台架构如下:

建设全区统一的数据数据交换子平台,形成公共数据归集、交换、共享的核心枢纽;打通全区各单位之间数据资源共享通道,实现双向数据互通。
通过本项目数据共享交换平台建设,构建XX区数据共享交换体系,推动政务数据的跨层级、跨地域、跨系统、跨部门、跨业务的共享利用,为公共基础库、业务主题库,提供底层数据支撑。
XX区数据交换系统基于电子政务云搭建,为全区数据管理部门提供云端的数据共享交换服务的统一平台,可实现部门前置节点与政务云中心节点间、部门与部门间稳定可靠的双向信息传递。
鉴于数据源应用的异构平台、异构系统接入的复杂性,数据共享交换平台建设应统一技术架构、统一接入标准规范(包括技术规范、接入规范、管理规范、运行规范等),同时既要充分考虑系统的安全性、可扩展性,又要充分考虑数据交换的实时性、可靠性和高效性,实现各系统数据的采集、同步、筛选比对等业务功能目标。
因此,本次数据共享交换平台建设将充分利用信息化手段,采用当前主流的技术标准,主要包括数据库技术、数据集成技术、消息中间件、SOA体系架构等技术,采用组件化和松耦合的设计思路,实现统一平台架构、统一技术标准、统一数据接口。数据交换子平台建设围绕数据资源的采集交换、数据传输、交换监控流程进行,以保证平台功能、服务更加贴近实际业务应用需要。
具体,本次区级大数据资源平台中的数据交换子平台的总体业务与逻辑架构设计如下:

利用数据交换平台与各政务部门进行互联,通过数据传输系统各委办的数据资源汇集到数据中心;对汇集到数据中心中的数据进行统一的加工、处理;将经过数据治理后的数据中心中的数据交换到各类基础信息库中,服务管理系统将各类基础信息库中的数据进行服务封装和服务发布,提供给各委办或决策分析等系统使用。
总之,通过数据交换平台的建设与实施,将为XX区构建完善的数据共享交换体系,为本项目总体体系建设提供数据共享交换服务支撑。
获取信息资源中定义的信息资源更新频率,自动实现采集、可以配置全量或者增量采集方式,可以配置数据提供部门在数据中心部门前置库的存储位置等。
能够提供对于采集周期,时间的采集策略配置、接口配置采集任务配置功能。
对于应用数据采集,需要管理的关键业务点有采集点、数据传输。主要性能指标包括:在采样周期内成功取得文件的数量、采集数据间隔时间、采集文件大小、进程状态、文件连续性、采集状态、传输速率等。
获取信息资源中定义的信息资源更新频率,自动实现采集、可以配置全量或者增量采集方式,可以配置数据提供部门在数据中心部门前置库的存储位置等。
文章引用的资料均通过互联网等公开渠道合法获取,仅作为行业交流和学习使用,并无任何商业目的。其版权归原资料作者或出版社所有,本文作者不对所涉及的版权问题承担任何法律责任。若版权方、出版社认为本文章侵权,请立即通知作者删除。
我主要使用Ruby来执行此操作,但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式,例如使用这个yaml文件,它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i
有时我需要处理键/值数据。我不喜欢使用数组,因为它们在大小上没有限制(很容易不小心添加超过2个项目,而且您最终需要稍后验证大小)。此外,0和1的索引变成了魔数(MagicNumber),并且在传达含义方面做得很差(“当我说0时,我的意思是head...”)。散列也不合适,因为可能会不小心添加额外的条目。我写了下面的类来解决这个问题:classPairattr_accessor:head,:taildefinitialize(h,t)@head,@tail=h,tendend它工作得很好并且解决了问题,但我很想知道:Ruby标准库是否已经带有这样一个类? 最佳
我正在尝试使用Curbgem执行以下POST以解析云curl-XPOST\-H"X-Parse-Application-Id:PARSE_APP_ID"\-H"X-Parse-REST-API-Key:PARSE_API_KEY"\-H"Content-Type:image/jpeg"\--data-binary'@myPicture.jpg'\https://api.parse.com/1/files/pic.jpg用这个:curl=Curl::Easy.new("https://api.parse.com/1/files/lion.jpg")curl.multipart_form_
无论您是想搭建桌面端、WEB端或者移动端APP应用,HOOPSPlatform组件都可以为您提供弹性的3D集成架构,同时,由工业领域3D技术专家组成的HOOPS技术团队也能为您提供技术支持服务。如果您的客户期望有一种在多个平台(桌面/WEB/APP,而且某些客户端是“瘦”客户端)快速、方便地将数据接入到3D应用系统的解决方案,并且当访问数据时,在各个平台上的性能和用户体验保持一致,HOOPSPlatform将帮助您完成。利用HOOPSPlatform,您可以开发在任何环境下的3D基础应用架构。HOOPSPlatform可以帮您打造3D创新型产品,HOOPSSDK包含的技术有:快速且准确的CAD
本教程将在Unity3D中混合Optitrack与数据手套的数据流,在人体运动的基础上,添加双手手指部分的运动。双手手背的角度仍由Optitrack提供,数据手套提供双手手指的角度。 01 客户端软件分别安装MotiveBody与MotionVenus并校准人体与数据手套。MotiveBodyMotionVenus数据手套使用、校准流程参照:https://gitee.com/foheart_1/foheart-h1-data-summary.git02 数据转发打开MotiveBody软件的Streaming,开始向Unity3D广播数据;MotionVenus中设置->选项选择Unit
文章目录一、概述简介原理模块二、配置Mysql使用版本环境要求1.操作系统2.mysql要求三、配置canal-server离线下载在线下载上传解压修改配置单机配置集群配置分库分表配置1.修改全局配置2.实例配置垂直分库水平分库3.修改group-instance.xml4.启动监听四、配置canal-adapter1修改启动配置2配置映射文件3启动ES数据同步查询所有订阅同步数据同步开关启动4.验证五、配置canal-admin一、概述简介canal是Alibaba旗下的一款开源项目,Java开发。基于数据库增量日志解析,提供增量数据订阅&消费。Git地址:https://github.co
我正在尝试在Rails上安装ruby,到目前为止一切都已安装,但是当我尝试使用rakedb:create创建数据库时,我收到一个奇怪的错误:dyld:lazysymbolbindingfailed:Symbolnotfound:_mysql_get_client_infoReferencedfrom:/Library/Ruby/Gems/1.8/gems/mysql2-0.3.11/lib/mysql2/mysql2.bundleExpectedin:flatnamespacedyld:Symbolnotfound:_mysql_get_client_infoReferencedf
文章目录1.开发板选择*用到的资源2.串口通信(个人理解)3.代码分析(注释比较详细)1.主函数2.串口1配置3.串口2配置以及中断函数4.注意问题5.源码链接1.开发板选择我用的是STM32F103RCT6的板子,不过代码大概在F103系列的板子上都可以运行,我试过在野火103的霸道板上也可以,主要看一下串口对应的引脚一不一样就行了,不一样的就更改一下。*用到的资源keil5软件这里用到了两个串口资源,采集数据一个,串口通信一个,板子对应引脚如下:串口1,TX:PA9,RX:PA10串口2,TX:PA2,RX:PA32.串口通信(个人理解)我就从串口采集传感器数据这个过程说一下我自己的理解,
SPI接收数据左移一位问题目录SPI接收数据左移一位问题一、问题描述二、问题分析三、探究原理四、经验总结最近在工作在学习调试SPI的过程中遇到一个问题——接收数据整体向左移了一位(1bit)。SPI数据收发是数据交换,因此接收数据时从第二个字节开始才是有效数据,也就是数据整体向右移一个字节(1byte)。请教前辈之后也没有得到解决,通过在网上查阅前人经验终于解决问题,所以写一个避坑经验总结。实际背景:MCU与一款芯片使用spi通信,MCU作为主机,芯片作为从机。这款芯片采用的是它规定的六线SPI,多了两根线:RDY和INT,这样从机就可以主动请求主机给主机发送数据了。一、问题描述根据从机芯片手
前言一般来说,前端根据后台返回code码展示对应内容只需要在前台判断code值展示对应的内容即可,但要是匹配的code码比较多或者多个页面用到时,为了便于后期维护,后台就会使用字典表让前端匹配,下面我将在微信小程序中通过wxs的方法实现这个操作。为什么要使用wxs?{{method(a,b)}}可以看到,上述代码是一个调用方法传值的操作,在vue中很常见,多用于数据之间的转换,但由于微信小程序诸多限制的原因,你并不能优雅的这样操作,可能有人会说,为什么不用if判断实现呢?但是if判断的局限性在于如果存在数据量过大时,大量重复性操作和if判断会让你的代码显得异常冗余。wxswxs相当于是一个独立