注册送钱,助您成为大富翁!
 
当前位置: 首页 » 资讯 » 人工智能 » 4种人工智能驱动ETL监控方式有助于避免故障

4种人工智能驱动ETL监控方式有助于避免故障

放大字体  缩小字体发布日期:2019-07-29 11:41  浏览次数:45
摘 要:ETL之所以如此重要,是因为企业收集的大多数数据都没有准备好,以其原始形式供分析解决方案消化。为了让分析解决方案创建洞察,
      ETL之所以如此重要,是因为企业收集的大多数数据都没有准备好,以其原始形式供分析解决方案消化。为了让分析解决方案创建洞察,需要从当前所在的应用程序中提取原始数据,将其转换为分析程序可以读取的格式,然后加载到分析程序本身。

     这个过程类似于烹饪。你的原料就是你的原料。他们需要提取(从商店购买),转化(煮熟),然后装载(电镀),然后才能进行分析(品尝)。这种困难和花费的规模是不可预测的——为自己做奶酪很容易,但是为40个人在晚宴上做一份美食菜单却困难得多。不用说,任何时候的错误都会使你的饭菜难以消化。
dreamstime_m_124449632_meitu_6
     ETL在某些方面是分析过程的基础,但它也有一些缺点。首先,它速度慢,计算成本高。这意味着企业通常只对最重要的数据进行优先级分析,而只存储其余数据。这就造成了这样一个事实,即高达99%的所有业务数据都未用于分析目的。此外,ETL过程从来都不确定。ETL进程中的错误可能会损坏您的数据。例如,一个短暂的网络错误可能会阻止数据被提取。如果源数据包含多个文件类型,那么它们可能会被错误地转换。正如他们所说的,垃圾输入,垃圾输出——ETL过程中的错误几乎可以肯定地用不准确的分析来表达自己。损坏的ETL过程可能会产生不良后果。即使在最好的情况下,您可能也需要重新运行ETL,这意味着要延迟几个小时——同时,您的决策者也不耐烦。在最坏的情况下,你不会注意到不准确的分析,直到你开始失去金钱和客户。
 
    利用机器学习和人工智能简化ETL,你可以——也可能是这样——指派一个人来监控ETL,但事实上并不那么简单。错误的数据可能是由于过程错误发生得太快而无法实时发现。损坏的ETL进程的结果通常与正确加载的数据没有区别。即使错误是显而易见的,产生错误的问题也可能不那么容易跟踪。好消息是,机器可以捕捉人类无法捕捉到的东西。这只是人工智能和机器学习能够捕捉ETL错误的几种方法,在它们变成不准确的分析之前。
 
1、跨ETL指标检测和警报
即使您的数据是一幅不断移动的图像,ETL过程仍应以一致的速度生成一致的值。当这些事情发生变化时,就会引起恐慌。人类可以看到数据的大幅波动并识别错误,但是机器学习可以更快地识别更细微的错误。机器学习系统可以提供实时异常检测并直接向IT部门发出警报,允许他们暂停进程并解决问题,而不必放弃数小时的计算工作。
 
2、精确定位特定的瓶颈
即使你的结果是准确的,他们可能仍然出来太慢,无法使用。Gartner说,80%的从分析中获得的见解永远不会被用来创造货币价值,这可能是因为一个业务领导者无法及时发现利用它的洞察力。机器学习可以告诉你系统在哪里减速,并为你提供答案——更快地获得更好的数据。
 
3、量化变更管理的影响
产生您的数据和分析的系统不是静态的-它们经常收到补丁和升级。有时,这些会影响它们生成或解释数据的方式,从而导致不准确的结果。机器学习可以标记已更改的结果,并将其跟踪到特定的补丁机器或应用程序。
 
4、降低运营成本
停滞的分析操作等于亏损。你花在解决问题上的时间不仅包括如何解决问题,还包括谁负责解决问题上的时间,就是你花在创造价值上的时间。机器学习有助于深入问题的核心,只提醒可能负责的团队。
 
 
[ 资讯搜索 ] [ 加入收藏 ] [ 告诉好友 ] [ 打印本文 ] [ 关闭窗口 ]

 
0条 [查看全部]  【4种人工智能驱动ETL监控方式有助于避免故障】相关评论

 
推荐图文
推荐资讯
点击排行