德勤中国:智慧审计的七种武器之复杂数据分析

  [复制链接]
跳转到指定楼层
楼主
发表于 2020-06-28 12:54:54 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式

1.形式


复杂数据分析是通过集成各种强大的数据处理工具和高性能的数据处理方法来收集、集成、分析和快速挖掘有效信息的能力。企业数据通常来源于多个内部和外部数据源,具有体积大、维数多、更新速度快、值密度低、数据形式多样等特点。它所面临的数据库包括传统的关系数据库如MySQL、Oracle、处理大量数据的高访问负荷和日志系统的键值数据库、分布式大数据管理的列存储数据、适用于Web应用的文档数据库和适用于社交网络的图形数据库等非关系数据库。可处理的数据类型可分为结构化数据、半结构化数据和文本、图像、声音、影视等非结构化数据。


大量复杂的数据增加了处理的难度,同时也提供了更多的信息。复杂的数据分析能够发现大量数据所包含的模式和规律,从而产生更多的价值。


二。风格


复杂数据分析所涉及的技术包括数据采集、数据处理、统计分析和数据建模。


[计]DA

复杂数据分析的数据源既可以是传统的内部数据库,也可以是来自网络的外部数据。内部数据采集可以使用SQL从内部关系数据库中提取数据,也可以使用NoSQL从分布式和异构数据源中提取图片、文本等数据文件。外部数据采集通常使用爬虫技术从网络上获取大量数据,例如发布在政府、研究机构或新闻网站上的信息。获取数据后,将其清理、转换、集成,并最终加载到数据仓库或数据集市中供使用。


数据处理

由于复杂数据分析所面临的数据往往庞大多样,一般需要采用高性能的计算体系结构和存储系统。例如,利用分布式计算MapReduce、SPark计算框架可以提高计算能力,以处理更复杂的数据,减少处理海量数据时的数据处理时间,如用户应用程序浏览记录。分布式文件存储HDFS可用于大规模地协同工作,以提高数据的吞吐量和速度。对于非结构化数据,往往需要对数据进行深入的理解,通过复杂的数据分析,对具有不同结构和语义的非结构化数据进行结构化,从而提取出可以直接分析的数据。例如,对非结构化数据的数据抽取(信息提取)和自然语言处理被用于半结构化数据。


[计]统计分析


统计分析是复杂数据分析的一种常规武器。运用统计方法进行定性分析和定量分析,对研究对象有了更深入的理解。主要分析技术包括:


假设检验(假设检验)以推断假设是否有效

显著性检验(显著性检验)以检验变量对目标的影响

相关分析(相关分析)分析变量间的关系

t检验比较两组数据均有显着性差异。

其他统计分析方法,如方差分析等。


数据建模

数据建模是复杂数据分析的核心技术,它可以通过算法从大量数据中搜索隐藏信息。主要算法包括分类(分类)、聚类(聚类)、预测(预测)、估计(估计)和复杂数据类型挖掘(文本、Web、图形、图像、视频、音频等)。数据建模可以实现基于用户行为数据的人群特征分类,根据历史数据预测行业趋势,在深入学习海量图像的基础上进行图形和图像识别。


3.实战


近年来,银行的小额贷款业务发展迅速,小微企业贷款和个人小额贷款均呈现井喷式增长。 面对业务量的快速增长,银行的内部审计面临着很大的压力。 如果按照传统的贷款审查流程对小额贷款进行全面检查,内部审计工作量难以承受,效率低下。 如果采用抽样审核,往往容易泛化,存在较高的检验风险..


概念案例的证明。


为了有效地审查小额信贷业务,一家银行的内部审计部门引入了复杂的数据分析手段来处理大量的小额信贷审计工作。通过建立统一共享的内部审计数据平台,广泛收集各类客户数据,对银行内部生产环境中获得的与小额贷款有关的“第一手”业务信息和网上爬虫爬行的客户个人和组织的相关信息进行交叉核对和验证,形成完整、真实的客户信息和行为。通过对用户信息的分析和挖掘,明确了逾期历史、账户资金流、个人信用、客户信用风险等级等特征。分类数据分为训练数据集和测试数据集。在培训数据中,建立了机器学习模型,分析了用户特征对判断客户信用资格和信用风险的影响,找出了高风险企业的特点,对优化模型进行了不断调整,提高了模型的准确性,并利用测试数据对模型进行了验证。通过运用机器学习模型,找出小额信贷中隐藏的规律、规律和趋势,从而总结过去和预测未来的效果,为小额信贷企业的风险防范和控制提供有价值的内部审计建议。



4.澳义


内部审计部门通过引入复杂的数据分析,结合德勤的智能包,实现了从传统审计向智能审计的飞跃。以复杂数据分析为指导的智能审计降低了内部审计的成本,提高了内部审计的效率。在充分实现银行自身数据资产的同时,引入外部大数据产生综合解决方案,帮助银行内部审计更好地洞察银行在新业务、新风险和新环境挑战面前的核心挑战,从而发挥更大的作用。


近年来,随着经济下行压力的加大和小额信贷风险的进一步提高,银行内部审计作为第三条防线,越来越需要开发一双“火眼圈”,复杂的数据分析就像一副眼镜,可以提高内部审计的“分辨率”,细化数据价值,实现银行内部审计工作在连续性、三维、综合性和智能化四个方面的逐步升级。



本文来自互联网,如果涉及到作品的内容、版权等问题,请联系我们的编辑,我们会删除。电子邮件:编者@zbgedu.com



金融法院[黄金]

财务和会计精英的聚集地,扫描QR代码,你将成为会员。


相关阅读:


增值税减免后,如何判断纳税义务的时间?


如何扣除客运代金券增值税?


如何填写新的增值税退税表?


点评

很赞: 5.0 不太行: 3.0

本帖被以下淘专辑推荐:

  • ·荒食 | 主题: - , 订阅: -
遍识天下英雄路,俯首江左有梅郎。
您需要登录后才可以回帖 登录 | 免费注册

本版积分规则