大数据领域

首页 经典案例大数据领域

【某区数据资源中心】数据综合处理平台建设案例

发布时间:2017/11/06 字号:【大 中 小】 来源:

发布源:北京北大软件工程股份有限公司


一、建设背景

区域数据统筹局自成立以来,已经收集了75个部门的数据,共1400多张数据表约5亿数据,为利用大数据来服务发展、服务民主和服务治理做出了积极的贡献。但是随着数据收集工作的深入推进,统筹局收集的数据越来越多,数据标准化、数据质量等问题变得越来越明显,带来了更多的运维与管理压力。数据基础运维平台是数据统筹的基础平台,是支撑性的技术工具,其功能深深影响着数据质量,进而影响到大数据统筹应用,进而深化大数据统筹应用成为了整个社会稳增长、促改革、调结构、惠民生和推动政府治理能力现代化的必然选择。


二、建设内容:

1、集成交换平台所有功能

目前数据综合处理平台,仅仅包含了交换平台部分功能,如常用的Excel、数据库抽取,但流程配置、多类型数据采集、脚本调用等原有功能都没有实现导致运维人员要在两个平台之间切换。因此本项目需要把交换平台上的功能集成至数据综合处理平台上。

2、强化数据采集和访问控制

数据综合处理平台建成以来,大大提升了运维人员的工作效率,但数据采集提质过程中发现了较多新问题,需要升级采集的流程、功能、算法等。同时随着数据保密制度的深入推进,数据访问权限的管理越来越细,目前的数据库管理功能需要根据制度相应提升。

3、完善数据报表及知识库

数据综合处理平台二期项目需要重点处理数据更新时间、数据增加时间、更新数据量、新增数据量、数据报表、统计图表等问题,并把知识库功能完善起来。

4、升级前置机

升级前置机,提升多任务并行处理能力和系统性能监控功能,使前置机的管理变得更加的统一高效,减少单独查询前置机日志的情况。


关键词:大数据丨数据中心丨统计分析丨决策分析丨行业应用大数据



  • 案例简介

    自2005年起,北大软件持续10年通过考核评价系统,向全国组织系统提供届中考核、换届考核、年度考核与一报告两评议等工作的技术支持服务。随着考核工作范围不断扩大、工作标准逐步提高、工作强度逐渐加大,工作及支持服务方式已不能满足后续考核工作要求,迫切需要改变现有工作模式,优化工作流程、减少人工投入,缩减沟通环节、提高工作效率,优化系统支撑,提高工作水平。

    领导班子和领导干部年度考核系统创新应用
  • 案例简介

    北大软件为中央直属机关单位、国资委系统、直属金融机构及北京、重庆、辽宁、吉林、新疆、西藏等省市提供服务

    中组部全国党员统计服务
  • 案例简介

    中共中央组织部领导干部考试测试平台可应用于领导干部竞争性选拔、干部培训和干部考察等工作。能够解决人为考试测评误差;异地考核时物力、人力成本过高等问题;降低试题印刷、运送、保管等工作环节中漏题、泄题的风险。

    中组部领导干部考试测试平台
  • 案例简介

    随着信息化、电子化、移动化进程加快,市统计局传统的数据采集、查询、管理的工作模式已不能很好地适应当前工作需要;为了改变这些现状,实现专业间数据交换与共享,方便领导查看数据,进一步提高工作效率,节约成本,现拟建设“统计数据共享平台”和“统计数据服务平台”。

    【某市统计局】统计数据共享平台系统、统计数据服务平台案例