基于大数据分析的智能挖掘平台及其应用产业化

大数据已成为各行各业的核心资产。当前大数据分析遇到成本高、扩展性差、实时处理困难及算法不够灵活等难题，本项目打破了国外厂商的技术垄断，自研了分布式数据库和分布式文件系统，实现了一种全新的基于数据流的高效并行大数据计算框架，构建了灵活、可扩展的分布式挖掘算法组件，形成大数据分析的智能挖掘平台。 
项目的主要创新成果包括： 
(1) 率先实现了高可用、高可靠、高扩展和低成本的多源异构大数据存储和管理系统。针对结构化数据，自研的分布式数据库产品提供了完整的分布式事务解决方案，保证了系统的处理效率、跨节点数据的一致性、失败事务处理、混合事务读写、分布式事务控制、事务的的持久化等关键创新功能点，业务性能可以达到Oracle的3倍；针对非结构化数据，自研一套全新、基于通用x86存储服务的分布式文件系统，可根据对不同类型数据的访问需求和特点，制定动态的存储策略，相比通用大数据文件系统性能提升30%。 
(2) 创新地提出了一种分布式数据挖掘联合学习机制、频繁项目集挖掘及其更新方法，为关联规则挖掘提供了高效、并行的理论依据。针对挖掘中支持数计算的复杂性等问题，开辟出了一种全新基于数据流的高性能并行大数据计算框架，性能提升4倍以上，支持10TB级别的数据运算且响应时间在1s内。 
(3) 制定了数据挖掘模型的定义和描述标准。通过PMML标记语言及其相关解析器、数据挖掘算法组件等的实施，实现了挖掘模型与应用程序的无关性，以及挖掘模型的共享性。为了应对算法的多样性和可变性，采用反射技术来获取和调用函数及属性，进一步提高了系统的可扩展和灵活性。 
(4) 提出了一种基于隐含语义分析的混合型协同过滤推荐算法，融合了用户显性与隐性反馈信息，创新性地应用大数据、人工智能等技术来发现用户使用过程中潜在的语义结构，分析用户的兴趣度，提供精准营销和广告、个性化UI界面等业务，提升了用户体验。 
(5) 构建了基于机器学习和大数据分析的在线智能运维一体化解决方案，充分利用EPG、CDN等故障日志，以及网口抓包数据，通过正负关联规则挖掘、序列模式发现等方法，对系统进行实时监控，实现端到端的全网诊断以及对用户无干扰式的视频业务质量监测，快速定位问题故障，主动预测系统运营的潜在风险，自动进行故障自愈、根因分析。 
本项目开发的自主知识产权分布式数据库与文件系统、基于数据流的高效计算框架，并基于其上打造的大数据智能挖掘平台，打破国外厂商在该信息领域的技术垄断，推动我国产业升级和转型。 
本项目在运营商、金融、教育、政务等行业100 多个大客户得到广泛应用，近二年累计新增销售额35.29亿元，利润3.43亿元。积极参与国际ITU-T、ISO/IEC和国内CCSA、DCA等国内外标准/论坛，完成39项提案，立项或牵头大数据术语、需求、架构、交换和溯源等标准，确立了我国在大数据领域的话语权。