大数据在金融行业的应用和挑战

《大数据在金融行业的应用和挑战》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、大数据在金融行业的应用与挑战作者：盛瀚北京银行，长期从事信息化安全建设和IT服务管理的研究。摘要：本文对大数据在金融行业的应用发展进行分析，阐述大数据的特征和发展趋势，结合金融行业特性介绍数据类型、技术实现和相关应用及场景案例，同时从数据增长、数据保障、数据标准和数据人才四个方面描述了大数据金融存在的挑战。关键词：大数据，金融1.大数据概述1.1.什么是大数据大数据（BigData）是一个宽泛的概念，业界没有统一的定义，大数据概念的兴起可以追溯到2000年前后，最初理解为一类海量数据的集合。2011年，美国麦肯锡在研究报告《大数据的下一个前沿：创

2、新、竞争和生产力》中给出了大数据的定义：大数据是指大小超出典型数据库软件工具收集、存储、管理和分析能力的数据集。根据Gartner的定义，大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据在通信、金融、教育等各个领域存在已有时日，近年来随着互联网和信息行业的发展进入了快速推广阶段。1.2.大数据的特征大数据不仅有传统数据定义的“三个V”，即数量（Volume）、速度（Velocity）和种类（Variety），还包含了更重要的第四个V，价值（Value）。阿姆斯特丹大学提出了大数据体系架

3、构框架的5V特征，在原有4V基础上增加了真实性（Veracity）特征，包括数据可信性、真伪性、来源和信誉、有效性和可审计性等特性，如图1所示。图1大数据体系架构框架5V特征1.3.大数据的发展趋势随着大数据产业的不断发展，各行业的应用解决方案不断成熟，大数据产业迎来了井喷式发展。Wikibon数据显示，2014年全球大数据市场规模达到285亿美元，同比增长53.2%。大数据成为全球IT支出新的增长点，如图2所示。Gartner数据显示，2014年数据中心系统支出达1430亿美元，比2013年增长2.3%。大数据对全球IT开支的直接或间接推动将达

4、2320亿美元，预计到2018年这一数据将增长三倍。图2Wikibon全球大数据市场规模测算全球大数据市场结构从垄断竞争向完全竞争格局演化。企业数量迅速增多，产品和服务的差异增大，技术门槛逐步降低，市场竞争越发激烈。全球大数据市场中，行业解决方案、计算分析服务、存储服务、数据库服务和大数据应用为市场份额排名最靠前的细分市场，如图3所示。图3Wikibon全球大数据市场结构测算2.大数据金融随着大数据技术的应用，越来越多的金融企业也开始投身到大数据应用实践中。麦肯锡的一份研究显示，金融业在大数据价值潜力指数中排名第一。以银行业为例，中国银联涉及43

5、亿张银行卡，超过9亿的持卡人，超过一千万商户，每天近七千万条交易数据，核心交易数据都超过了TB级。一直以来，金融企业对数据的重视程度非常高。随着移动互联网发展各种务和服多样化市场整体规模扩大。对于数据分析带来的主要业务价值，大量参加调研的金融企业表示，大数据分析的价值是可以根据商业分析实现更加智能的业务决策，让企业战略制定更加理性化。依靠有前瞻性的决策，实现生产过程中资源更优化的分配，能够根据市场变化迅速做出调整，提高用户体验以及资金周转率，降低库存积压的风险，从而获取更高的利润。2.1.金融数据的类型金融数据从数据类型上进行划分，大致可以分为结

6、构化数据、半结构化数据与非结构化数据三大类。（1）结构化数据。结构化的数据来源自金融企业运营数据仓储(ODS)和数据仓库(EDW)。EDW为企业提供分析决策服务，ODS主要实现企业数据整合、共享和准实时运营监控等功能。而通过Hadoop等组件的应用可以将数月前甚至几年前的历史数据进行迁移保存。在分布式存储结构下，结构化数据的存储计算可以得到巨大的改善，可对海量离线数据进行离线分析，将离线数据优势最大化，为金融企业用户打造立体用户画像提供最全面的数据支撑。（2）半结构化数据。半结构化数据的整合在数据整合中是最为复杂的。金融企业可对接来源于外部单位所

7、提供的不同类型数据库或Excel等的数据。“打通”多源异构的数据是项目中遇到的最困难的部分，数据整合完毕可快速进行建模分析。（3）非结构化数据。金融行业对于非结构化的处理的方法还是比较原始的。非结构化数据涵盖的范围比较广泛，有新闻，视频，图片以及社交网络等数据。2.2.大数据金融的技术实现金融数据一般具有“流数据”的特征，需要在短时间内快速处理。与其他行业相比，金融具有逻辑关系紧密、处理实时性要求高、可展示性需求强等特征，通常需要以下几类关键技术。（1）数据分析技术。包括数据挖掘、机器学习等人工智能技术，主要应用在用户信用分析、用户聚类分析、用户

8、特征分析、产品关联分析、营销分析等方面。金融系统安全性、稳定性和实时性要求比较高，对大数据计算处理能力也要求非常高。（2）数据管理技术。