大数据在金融领域的应用

1. 大数据在金融领域的应用

大数据在金融领域的应用如下：
1. 概述
近年来，随着大数据、云计算、区块链、人工智能等新技术的快速发展，这些新技术与金融业务深度融合，释放出了金融创新活力和应用潜能，这大大推动了我国金融业转型升级，助力金融更好地服务实体经济，有效促进了金融业整体发展。
在这一发展过程中，又以大数据技术发展最为成熟、应用最为广泛。
从发展特点和趋势来看，“金融云”快速建设落地奠定了金融大数据的应用基础，金融数据与其他跨领域数据的融合应用不断强化，人工智能正在成为金融大数据应用的新方向，金融行业数据的整合、共享和开放正在成为趋势，给金融行业带来了新的发展机遇和巨大的发展动力。


2. 大数据技术在金融行业中的典型应用
大数据技术在金融行业中有着广泛的应用， 下面将介绍大数据技术在银行、证券、保险等金融细分领域中的应用。
3. 金融大数据应用面临的挑战及对策
大数据技术为金融行业带来了裂变式的创新活力，其应用潜力有目共睹，但在数据应用管理、业务场景融合、标准统一、顶层设计等方面存在的瓶颈也有待突破。

2. 大数据在金融领域的应用

大数据在金融领域的应用如下：
1. 概述
近年来，随着大数据、云计算、区块链、人工智能等新技术的快速发展，这些新技术与金融业务深度融合，释放出了金融创新活力和应用潜能，这大大推动了我国金融业转型升级，助力金融更好地服务实体经济，有效促进了金融业整体发展。
在这一发展过程中，又以大数据技术发展最为成熟、应用最为广泛。
从发展特点和趋势来看，“金融云”快速建设落地奠定了金融大数据的应用基础，金融数据与其他跨领域数据的融合应用不断强化，人工智能正在成为金融大数据应用的新方向，金融行业数据的整合、共享和开放正在成为趋势，给金融行业带来了新的发展机遇和巨大的发展动力。

2. 大数据技术在金融行业中的典型应用
大数据技术在金融行业中有着广泛的应用， 下面将介绍大数据技术在银行、证券、保险等金融细分领域中的应用。
3. 金融大数据应用面临的挑战及对策
大数据技术为金融行业带来了裂变式的创新活力，其应用潜力有目共睹，但在数据应用管理、业务场景融合、标准统一、顶层设计等方面存在的瓶颈也有待突破。

3. 大数据在金融领域的应用

大数据在金融领域的应用
大数据产业链覆盖范围广，上游是基础支撑层，主要包括网络设备、计算机设备、存储设备等硬件供应，此外，相关云计算资源管理平台、大数据平台建设也属于产业链上游 ;
大数据产业中游立足海量数据资源，围绕各类应用和市场需求，提供辅助性的服务，包括数据交易、数据资产管理、数据采集、数据加工分析、数据安全，以及基于数据的 IT 运维等 ;

大数据产业下游则是大数据应用市场，随着我国大数据研究技术水平的不断提升，目前，我国大数据已广泛应用于政务、工业、金融、交通、电信和空间地理等行业。

4. 金融行业如何“把握”大数据

　　在企业信息化建设及互联网行业的发展过程中，数据量的增长已经达到了前所未有的速度。厂商、分析师以及技术专家认为“大数据”(Big Data)时代已经到来，针对大数据的相关技术已经被IT部门提上了议事日程。除了如何存储管理大数据，更为重要的问题是如何利用大数据为企业服务，通过商业智能以及高级分析应用将其价值发挥到最大。
　　新概念是新技术的催化剂，在大数据领域中，一些新技术包括Hadoop、MapReduce都得到了更广泛的应用，Hadoop、MapReduce为通用计算与分布式架构架起了一座桥梁，而传统的企业数据仓库技术则遭遇了前所未有的挑战。
　　数据大集中　　目前“数据大集中”的发展趋势已在中国金融业获得了广泛的认同，一些大型的证券商和银行已纷纷走上了这条道路。作为数据及业务应用的核心，
数据中心对于用户的重要性就相当于心脏之于人体。目前，越来越多的金融企业已经投入到对资料中心的建设。事实上，对于众多用户而言，确保每周24小时持续运行已经不再是对资料中心的惟一要求了，先进的资料中心解决方案还应在灵活性、可扩展性、安全性、冗余备份、环境控制以及业务延续性管理等方面有着更为出色的表现，而这一出色表现必须建立在“灵活、健康、高性能的综合布线系统”的基础之上。
　　不同于其他的行业的是，金融行业已经将网络系统作为其生产机器而并非是一般的办公室运作工具，网络的畅通与可靠运行已经成为金融业正常运转的首要条件。日益复杂的应用系统、海量的数据交换以及不断的更新使得数据中心在其网络系统中占据及其重要的位置。　　安全：金融业永恒的话题　　信息安全是金融行业永远的话题。如何利用信息技术的优势加强金融机构的内部控制，提高金融监管和服务水平，防范和化解金融风险，促进金融改革和创新，从而推动我国经济社会的发展，是当前我国金融业信息化建设面临的重大问题。金融信息系统外应用系统相互牵连、使用对象多样化、安全风险的多方位、信息可靠性、保密性要求高等特征构成了金融系统的突出特点。 国际金融危机以来，金融系统的风险控制和监管被提到了前所未有的高度。
　　史立谈道：“金融行业对网络的安全性、稳定性要求很高，系统要能够高速处理数据，还可以提供冗余备份和容错功能，保证系统在任何情况下都能够正常运行，否则就会给用户带来巨大的损失，同时系统需要提供非常好的管理能力和灵活性，以应对复杂的应用。”
　　当然，大数据在金融行业一切都还处于初级阶段，但是，金融企业每天处理的数据规模依然在保持增长，大数据分析使得商务决策越来越接近原生数据，信息的质量也变得愈加重要。如果同样复杂的分析可以运用到相关安全数据上面，那么大数据甚至可以用来改善信息安全。
　　大数据应该说是具有相当大的价值，但同时它又存在巨大的安全隐患，金融行业是不能容忍任何安全问题，一旦出现问题，必然会对企业和个人造成巨大的损失。也许当大数据真的能够解决安全以及稳定性的问题时，大数据才能真正融入金融行业当中。

5. 大数据在金融行业的应用与挑战

大数据在金融行业的应用与挑战
A    具有四大基本特征
金融业基本是全世界各个行业中最依赖于数据的，而且最容易实现数据的变现。全球最大的金融数据公司Bloomberg在1981年成立时“大数据”概念还没有出现。Bloomberg的最初产品是投资市场系统（IMS），主要向各类投资者提供实时数据、财务分析等。
随着信息时代降临，1983年估值仅1亿美元的Bloomberg以30%股份的代价换取美林3000万美元投资，先后推出Bloomberg Terminal、News、Radio、TV等各类产品。1996年Bloomberg身价已达20亿美元，并以2亿美元从美林回购了10%的股份。2004年Bloomberg在纽约曼哈顿中心建成246米摩天高楼。到2008年次贷危机，美林面临崩盘，其剩余20%的Bloomberg股份成为救命稻草。Bloomberg趁美林之危赎回所有股份，估值跃升至225亿美元。2016年Bloomberg全球布局192个办公室，拥有1.5万名员工，年收入约100亿美元，估值约1000亿美元，超过同年市值为650亿美元的华尔街标杆高盛。
大数据概念形成于2000年前后，最初被定义为海量数据的集合。2011年，美国麦肯锡公司在《大数据的下一个前沿：创新、竞争和生产力》报告中最早提出：大数据指大小超出典型数据库软件工具收集、存储、管理和分析能力的数据集。
具体来说，大数据具有四大基本特征：
一是数据体量大，指代大型数据集，一般在10TB规模左右，但在实际应用中，很多企业用户把多个数据集放在一起，已经形成了PB级的数据量。
二是数据类别大，数据来自多种数据源，数据种类和格式日渐丰富，已冲破了以前所限定的结构化数据范畴，囊括了半结构化和非结构化数据。现在的数据类型不仅是文本形式，更多的是图片、视频、音频、地理位置信息等多类型的数据。
三是处理速度快，在数据量非常庞大的情况下，也能够做到数据的实时处理。数据处理遵循“1秒定律”，可从各种类型的数据中快速获得高价值的信息。
四是数据的真实性高，随着社交数据、企业内容、交易与应用数据等新数据源的兴起，传统数据源的局限被打破，信息的真实性和安全性显得极其重要。
而相比其他行业，金融数据逻辑关系紧密，安全性、稳定性和实时性要求更高，通常包含以下关键技术：数据分析，包括数据挖掘、机器学习、人工智能等，主要用于客户信用、聚类、特征、营销、产品关联分析等；数据管理，包括关系型和非关系型数据、融合集成、数据抽取、数据清洗和转换等；数据使用，包括分布式计算、内存计算、云计算、流处理、任务配置等；数据展示，包括可视化、历史流及空间信息流展示等，主要应用于对金融产品健康度、产品发展趋势、客户价值变化、反洗钱反欺诈等监控和预警。
B    重塑金融行业竞争新格局
“互联网+”之后，随着世界正快速兴起“大数据+”，金融行业悄然出现以下变化：
大数据特征从传统数据的“3个V”增加到“5个V”。在数量（Volume）、速度（Velocity）、种类（Variety）基础上，进一步完善了价值（Value）和真实性（Veracity），真实性包括数据的可信性、来源和信誉、有效性和可审计性等。
金融业按经营产品分类变为按运营模式分类。传统金融业按经营产品划分为银行、证券、期货、保险、基金五类，随着大数据产业兴起和混业经营的发展，现代金融业按运营模式划分为存贷款类、投资类、保险类三大类别。
大数据市场从垄断演变为充分市场竞争。全球大数据市场企业数量迅速增多，产品和服务的差异增大，技术门槛逐步降低，市场竞争日益激烈。行业解决方案、计算分析服务、存储服务、数据库服务和大数据应用成为市场份额排名最靠前的五大细分市场。
大数据形成新的经济增长点。Wikibon数据显示，2016年，全球大数据硬件、软件和服务整体市场增长22%达到281亿美元，预计到2027年，全球在大数据硬件、软件和服务上的整体开支的复合年增长率为12%，将达到大约970亿美元。
数据和IT技术替代“重复性”业务岗位。数据服务公司Eurekahedge通过追踪23家对冲基金，发现5位对冲基金经理薪金总额为10亿美元甚至更高。过去10年，靠数学模型分析金融市场的物理学家和数学家“宽客”一直是对冲基金的宠儿，其实大数据+人工智能更精于此道。高盛的纽约股票现金交易部门2000年有600名交易员而如今只剩两人，其任务全由机器包办，专家称10年后高盛员工肯定比今天还要少。
美国大数据发展走在全球前列。美国政府宣称：“数据是一项有价值的国家资本，应对公众开放，而不是将其禁锢在政府体制内。”作为大数据的策源地和创新引领者，美国大数据发展一直走在全球最前列。自20世纪以来，美国先后出台系列法规，对数据的收集、发布、使用和管理等做出具体的规定。2009年，美国政府推出Data.gov政府数据开放平台，方便应用领域的开发者利用平台开发应用程序，满足公共需求或创新创业。2010年，美国国会通过更新法案，进一步提高了数据采集精度和上报频度。2012年3月，奥巴马政府推出《大数据研究与开发计划》，大数据迎来新一轮高速发展。
英国是欧洲金融中心，大数据成为其领先科技之一。2013年，英国投资1.89亿英镑发展大数据。2015年，新增7300万英镑，创建了“英国数据银行”data.gov.uk网站。2016年，伦敦举办了超过22000场科技活动，同年，英国数字科技投资逾68亿英镑，而收入则超过1700亿英镑。另外，英国统计局利用政府资源开展“虚拟人口普查”，仅此一项每年节省5亿英镑经费。
C    打造高效金融监管体系
大数据用已发生的总体行为模式和关联逻辑预测未来，决策未来,作为现代数字科技的核心，其灵魂就是——预测。
侦测、打击逃税、洗钱与金融诈骗
全球每年因欺诈造成的经济损失约3.7万亿美元，企业因欺诈受损通常为年营收额的5%。全球最大软件公司之一美国SAS公司与税务、海关等政府部门和全球各国银行、保险、医疗保健等机构合作，有效应对日益复杂化的金融犯罪行为。如在发放许可之前，通过预先的数据分析检测客户是否有过行受贿、欺诈等前科，再确定是否发放借贷或海关通关。SAS开发的系统已被国际公认为统计分析的标准软件，在各领域广泛应用。英国政府利用大数据检测行为模式检索出200亿英镑的逃税与诈骗，追回了数十亿美元损失。被福布斯评为美国最佳银行的德克萨斯资本银行（TCBank），不断投资大数据技术，反金融犯罪系统与银行发展同步，近3年资产从90亿美元增至210亿美元。荷兰第三大人寿保险公司CZ依靠大数据对骗保和虚假索赔行为进行侦测，在支付赔偿金之前先期阻断，有效减少了欺诈发生后的司法补救。
大数据风控建立客户信用评分、监测对照体系
美国注册舞弊审核师协会（ACFE）统计发现，缺乏反欺诈控制的企业会遭受高额损失。美国主流个人信用评分工具FICO能自动将借款人的历史资料与数据库中全体借款人总体信用习惯相比较，预测借款人行为趋势，评估其与各类不良借款人之间的相似度。美国SAS公司则通过集中浏览和分析评估客户银行账户的基本信息、历史行为模式、正在发生行为模式（如转账）等，结合智能规则引擎（如搜索到该客户从新出现的国家为特有用户转账，或在新位置在线交易等），进行实时反欺诈分析。
美国一家互联网信用评估机构通过分析客户在Facebook、Twitter等社交平台留下的信息，对银行的信贷和投保申请客户进行风险评估，并将结果出售给银行、保险公司等，成为多家金融机构的合作伙伴。
D    数据整合困难
应用经济指标预测系统分析市场走势
IBM使用大数据信息技术成功开发了“经济指标预测系统”，该系统基于单体数据进行提炼整合，通过搜索、统计、分析新闻中出现的“新订单”等与股价指标有关的单词来预测走势，然后结合其他相关经济数据、历史数据分析其与股价的关系，从而得出行情预测结果。
追踪社交媒体上的海量信息评估行情变化
当今搜索引擎、社交网络和智能手机上的微博、微信、论坛、新闻评论、电商平台等每天生成几百亿甚至千亿条文本、音像、视频、数据等，涵盖厂商动态、个人情绪、行业资讯、产品体验、商品浏览和成交记录、价格走势等，蕴含巨大财富价值。
2011年5月，规模为4000万美元的英国对冲基金DC Markets，通过大数据分析Twitter的信息内容来感知市场情绪指导投资，首月盈利并以1.85%的收益率一举战胜其他对冲基金仅0.76%的平均收益率。
美国佩斯大学一位博士则利用大数据追踪星巴克、可口可乐和耐克公司在社交媒体的围观程度对比其股价，证明Facebook、Twitter和 Youtube上的粉丝数与股价密切相关。
提供广泛的投资选择和交易切换
日本个人投资理财产品Money Design在应用程序Theo中使用算法+人工智能，最低门槛924美元，用户只需回答风险承受水平、退休计划等9个问题，就可使用35种不同货币对65个国家的1.19万只股票进行交易和切换，年度管理费仅1%。Money Design还能根据用户投资目标自动平衡其账户金额，预计2020年将超过2万亿美元投资该类产品。
利用云端数据库为客户提供记账服务
日本财富管理工具商Money Forward提供云基础记账服务，可管理工资、收付款、寄送发票账单、针对性推送理财新项目等，其软件系统连接并整合了2580家各类金融机构的各类型帐户，运用大数据分析的智能仪表盘显示用户当前财富状况，还能分析用户以往的数据以预测未来的金融轨迹。目前其已拥有50万商家和350万个体用户，并与市值2.5万亿美元的山口金融集团联合开发新一款APP。
为客户定制差异化产品和营销方案
金融机构迫切需要掌握更多用户信息，继而构建用户360度立体画像，从而对细分客户进行精准营销、实时营销、智慧营销。
一些海外银行围绕客户“人生大事”，分析推算出大致生活节点，有效激发其对高价值金融产品的购买意愿。如一家澳大利亚银行通过大数据分析发现，家中即将诞生婴儿的客户对寿险产品的潜在需求最大，于是通过银行卡数据监控准妈妈开始购买保胎药品和婴儿相关产品等现象，识别出即将添丁的家庭，精准推出定制化金融产品套餐，受到了客户的积极响应，相比传统的短信群发模式大幅提高了成功率。
催生并支撑人工智能交易
“量化投资之王”西蒙斯被公认为是最能赚钱的基金经理人，自1988年创立文艺复兴科技公司的旗舰产品——大奖章基金以来，其凭借不断更新完善的大数据分析系统，20年中创造出35%的年均净回报率，比索罗斯同期高10%，比股神巴菲特同期高18%，成为有史以来最成功的对冲基金，并于1993年基金规模达2.7亿美元时停止接受新投资。在美国《Alpha》杂志每年公布的对冲基金经理排行榜上，西蒙斯2005年、2006年分别以15亿美元、17亿美元净收入稳居全球之冠，2007年以13亿美元位列第五，2008年再以25亿美元重返榜首。
推动金融产品和服务创新
E    面临三大挑战
目前，全球各行业数据量的增长速度惊人，在我国尤其集中在金融、交通、电信、制造业等重点行业，信息化的不断深入正在进一步催生更多新的海量数据。
据统计，2015年中国的数据总量达到1700EB以上，同比增长90%，预计到2020年这一数值将超过8000EB。以银行业为例，每创收100万元，银行业平均产生130GB的数据，数据强度高踞各行业之首。但在金融企业内部数据处于割裂状态，业务条线、职能部门、渠道部门、风险部门等各个分支机构往往是数据的真正拥有者，缺乏顺畅的共享机制，导致海量数据往往处于分散和“睡眠”状态，虽然金融行业拥有的数据量“富可敌国”，但真正利用时却“捉襟见肘”。
数据安全暗藏隐患
大数据本质是开放与共享，但如何界定、保护个人隐私权却成为法律难题。大数据存储、处理、传输、共享过程中也存在多种风险，不仅需要技术手段保护，还需相关法律法规规范和金融机构自律。多项实际案例表明，即使无害的数据大量囤积也会滋生各种隐患。安全保护对象不仅包括大数据自身，也包含通过大数据分析得出的知识和结论。在线市场平台英国Handshake.uk.com就尝试允许用户协商个人数据被品牌分享所得的报酬。
人才梯队建设任重道远
人才是大数据之本。与信息技术其他细分领域人才相比，大数据发展对人才的复合型能力要求更高，需要掌握计算机软件技术，并具备数学、统计学等方面知识以及应用领域的专业知识。

6. 大数据助推金融业发展

大数据助推金融业发展
专家表示，对于金融行业来说，尤其是以银行、保险为主的金融行业都是非常注重数据应用的，很多企业已经在利用大数据去服务其风险管理、客户营销和运营管理等工作。大数据未来将成为全球金融业竞争的主要“阵地”之一。对大数据的应用能力已经成为金融企业的核心竞争力，未来有竞争力的金融企业一定是有深厚大数据文化的企业。
今年《政府工作报告》明确提出要“发展壮大新动能。做大做强新兴产业集群，实施大数据发展行动”。近年来，以信息通信技术的创新为基础，互联网、大数据和人工智能等蓬勃发展，新的经济形态展现出强劲的生命力。接受《金融时报》记者专访的毕马威中国大数据团队学科带头人魏秋萍博士表示，对于金融行业来说，尤其是以银行、保险为主的金融行业都是非常注重数据应用的，很多企业已经在利用大数据去服务其风险管理、客户营销和运营管理等工作。
金融大数据值得关注
魏秋萍表示，金融行业本身是一个自带很大流量的行业。比如一个规模较大的银行，都拥有海量的客户。银行可以利用大数据技术，针对不同的客户群体制定不同的个性化服务方案，可以创建出很多不同的场景。同时，银行拥有很多的数据维度，这些数据项又比一般的网络行为大数据拥有更高的价值密度，可以发挥很大的业务价值。因此，金融行业充分利用自己的流量、数据，有效结合外部数据，再配套先进的技术和理念，必然可以成为一个生态体系中的核心组织。
大数据已经被广受关注，但到底什么是大数据，并没有一个被大家普遍认可的定义。魏秋萍认为，要认识大数据，可以从数据和技术两大层面来看。在大数据这个热词没有出现之前，金融行业早就开始了商务智能分析和数据挖掘，不过这时被分析的数据往往是企业内部的结构化数据。目前，金融企业分析的数据已经不再拘泥于此，而是大大拓宽了数据的广度，除了结构化数据外，也会根据实际的分析需要来引入非结构化数据，同时也会结合企业内部数据和企业外部数据来开展分析。在技术层面，也有了很大的变革，包括存储能力、计算能力和算法种类等，都有长足的进步。在10多年前做数据挖掘的时候，往往由于样本量庞大需要做采样技术，现在有了高性能存储和内存计算等技术的更新，采样基本不再是必需的了。
魏秋萍预计，大数据未来将成为全球金融业竞争的主要“阵地”之一。与互联网企业相比，虽然金融行业践行大数据战略的起步要晚了一些，但是金融行业利用大数据的进程也发展得很快。对大数据的应用能力，已经成为金融企业的核心竞争力，未来有竞争力的金融企业一定是有深厚大数据文化的企业。大数据提供了全新的沟通渠道和客户经营手段，可以加深企业和客户的互动，更及时精准地洞察客户。大数据也可以帮助金融企业滋生新型的金融业态参与市场竞争，用大数据来武装自己的金融企业未来一定是某个生态链中的关键组件。
风控需同步跟上
魏秋萍表示，应用大数据必须要重视数据质量和技术创新。举例来说，把大数据应用于风险控制是金融业应用大数据最典型的场景之一。在这一场景的应用中，有以下两点必须注意：一是对于数据的整合和数据的治理。风控是一个复杂的过程，要利用数据对风险进行穿透式管控，必须实现用真实的数据再现业务流程，因此，数据的可获得性和数据质量非常关键。二是先进技术的应用和创新。风控是魔高一尺道高一丈的游戏，“小偷”的伎俩层出不穷，作为“警察”的风控必须要有不断创新的能力，不断优化风控的技术。她还表示，从大数据风控技术的角度看，国内和国际的差异并不大，中国也走在了技术的前沿。但是，国外的金融企业对创新技术的容错会比国内好，他们有一些机制来鼓励创新技术的试错。这一点值得国内企业学习。
魏秋萍还认为，应用大数据的时候，数据安全也要同步跟上。保障数据安全的方法主要是三大手段：第一，需要依靠健全的法律制度来保障和约束数据交易的买卖双方；第二，需要加强数据买卖双方的道德约束；第三，需要通过安全技术来保障数据的安全。
金融企业应用大数据是一个逐步发展的过程，大数据的价值释放也必然是循序渐进的。企业内部一致的大数据理念和数据驱动决策的文化，也是大数据助推金融企业发展的保障。