20世纪以来，信息技术在金融业的中大量广泛使用，使其累积了体量庞大的数据和信息，金融机构当中存储着数亿万计的数据，这种情况迫使金融机构必须要考虑如何将这些数据转换为可以创造实际价值的内容，为企业尽可能多的创造利润。然而，这些数据并不是为了分析目的而专门生产，入职制作银行流水仅仅是随商业活动产生，尽管数量庞大，但难于直接产生价值，因此需要借助大数据挖掘技术进行深度挖掘，使之成为有价值的信息。
随着数据收集能力逐步提高，金融企业将形成时间连续、动态变化的面板数据，其中不仅包括用户的交易数据，也包括用户的行为数据。简单的数据搜集和归并对金融企业来说不足以有效利用这些数据，只有对其进行深度挖掘，才可以发现其中的隐性信息并利用其为客户提供更加优质的金融产品和服务。如何对多源数据实现快速高效的海量数据(59.45 +3.19%,诊股)处理？如何应对互联网金融产生的碎片化数据、快速响应需求引发的风险问题？如何充分利用数据分析、挖掘来获取更大的经济效益？是金融企业在进行大数据分析时面对的几大挑战。
互联网的发展催生了大数据技术的诞生。在21世纪初，全球网页内容大规模增长，网页内容每日增长速度超百万。截止2001年末，全世界网页个数达50亿个[1]，互联网用户检索有用信息的难度越来越大。谷歌（GOOGLE）等拥有较高搜索引擎技术的公司开始建立搜索系统，其内容覆盖数十亿网页，提高了人们对互联网内容的使用效率，大数据技术由此诞生。由于网页内容当中需要处理的数据包含大量的非结构化内容，传统的搜索技术无法完成检索。
谷歌公司提出了以“分布式”为基础的存储和检索系统，包括分布式文件、分布式并行计算和分布式数据库等系统，实现了非结构化据的检索，并奠定了大数据技术的基础。伴随着互联网产业的崛起，这种创新的海量数据处理技术在电子商务、定向广告、智能推荐、社交网络等方面得到应用，取得巨大的商业成功。这启发全社会开始重新审视数据的巨大价值，金融、电信等拥有大量数据的行业也开始尝试这种新的理念和技术，取得初步成效。与此同时，业界也在不断对谷歌提出的技术体系进行扩展，使之能在更多的场景下使用。2011 年，麦肯锡、世界经济论坛等知名机构对这种数据驱动的创新进行了研究总结，随即兴起了一股大数据热潮。
虽然大数据已经成为全社会热议的话题，但到目前为止，入职制作工资流水“大数据”尚无公认的统一定义。笔者认为，认识大数据，要把握“资源、技术、应用”三个层次。大数据是具有体量大、结构多样、时效强等特征的数据；处理大数据需采用新型计算架构和智能算法等新技术；大数据的应用强调以新的理念应用于辅助决策、发现新的知识，更强调在线闭环的业务流程优化。因此说，大数据不仅“大”，而且“新”，是新资源、新工具和新应用的综合体。
