[摘要]研究表明，全球数据量每两年翻一番，所有企业都在解决和存储这些海量数据。 这些数据主要由结构化数据和非结构化数据组成。 对企业数据了解的越透彻，就越能准确判断数据的价值和风险。 结构化数据:即格式固定、长度有限的数据。 比如填写的表格是结构化数据，国籍:中华人民共和国，民族:汉族，性别:男性，这些都叫结构化数据。 在ICT领域，它是以固定格式(Oracle/MySQL/…)存储在数据库中的数据 半结构化数据:它是少量XML或HTML的格式。需要的时候可以用结构化数据解决，也可以用非结构化数据提取纯文本解决。 非结构化数据:即长度不定、格式不固定的数据，如网页、邮件等，有时很长；有时候很短，几个字就没了；比如Word文档、语音、视频、图片都是非结构化数据。 现在大部分的非结构化数据。 为了描述方便，我们将半结构化数据和非结构化数据结合起来，统称为“暗数据”。当然这个词不是我发明的，是AA公司起的名字。 AA(Automation Anywhere)公司由Ankur Kothari、Mihir Shukla、Neeti Mehta和Rushabh Parmani于2003年在加利福尼亚州圣何塞的Tethys Solutions，LLC成立。 该软件公司在10多个国家/地区开展业务，开发适用于领先金融服务、业务流程外包、医疗保健、技术和保险公司的机器人流程自动化技术产品。 在RPA的市场份额第一，全球最大的RPA生态系统已经培训和认证了超过10，000名RPA人员。 AA公司统计“暗数据”占80%，就像下图中冰山的水下部分。 这些暗数据导致信息破碎，传统自动化无法访问这些信息。 业界最头疼的就是如何解决这部分数据。第一，解决暗数据的传统方法。目前，传统公司在解决暗数据时使用的是愚蠢的方法，试图将非结构化数据转化为结构化数据。 或者干脆，大部分公司让这些黑暗的数据在数据湖中沉睡，毫无用处，还浪费存储和维护资源。 像我们的场地数据，设施数据，网络数据，运营数据，大部分都是暗数据。 现在我们在努力寻找结构化的方法，这可能是最愚蠢的方法。 费时费力，结果还是很差。 第二，利用AI解决暗数据的新方法。其实纯RPA做的工作非常有限。RPA主要解决结构化、流程化的数据，无法解决“暗数据” 利用AI技术，可以解决图片、邮件等暗数据，同时AI可以随机解决少量突发过程。 下面是AI和RPA的区别:AA是一家结合AI和RPA解决暗数据的公司。 使用的关键技术如下:1 .语音识别:主要处理对话、录音、音频等文件。 2.NLP:主要处理文本、邮件、文档等文档。 3.计算视觉:主要处理图片、嵌入PDF的图片等信息。 4.机器学习&深度学习:主要通过“学习”，解决少量异常事件，使流程正常流动，像人一样灵活解决问题。 三。AA推出的重点产品(或治疗方案)推出了IQ-Bot治疗方案。 Iqbot是一种人工智能(AI)处理方案，可以由商业客户轻松设置和使用，以更快地自动阅读和解决各种复杂的文档和电子邮件。 此外，IQ Bot还可以通过内置的自动认知，与IBM Watson/Google Cloud AI/MS认知服务等AI处理解决方案进行整合，从而弥合RPA与纯认知平台之间的鸿沟。 其主页上呈现的IQ BOT处理方案示例如图。重点是说明iqbot是一个可以连接RPA和认知平台的桥梁:使用IQ Bot对AI进行前后对比，可以实现以内容为中心的流程自动化，使AI成为RPA的理想补充技术。 使用这两者的结合，组织可以端到端地自动化流程，例如使用AI，解析、分类和理解语义或情感，并将所需的操作交付给RPA。 比如完成用AI为用户写确认信/文字或邮件的案例。 4.如何在前端将AI嵌入RPA流程？1.很多流程需要理解语义。 利用AI中的NLP技术理解句子的结构、语义和意义 通过统计方法和机器学习 NLP将文本转换成数据，反之亦然，允许人们之间进行有意义的交互。 包括自然语言的理解和生成，比如保险公司理赔、银行按揭贷款等都需要补充材料，包括图片(身份证信息)、表格信息、邮件信息、文字信息等。这些是非结构化信息，很难直接使用RPA自动化，这影响了此流程的效率。 文本、电子邮件、信件和图像首先由NLP和图像识别技术解决。 2.利用计算机视觉技术自动提取、分析图片并转换成语义。 从单幅图像或一系列图像(包括扫描文档)中学习有用信息，实现自动视觉理解。 3.通过ML(机器学习)实现少量的灵活解题能力 算法可以实现人解决问题的灵活性，可以通过“学习”灵活解决，没有一个确定固定的过程。它具有随机应变的解决机制，避免了通过系统对接转移大量数据。 5.AI方法有什么借鉴意义？多年来，整个电信行业一直没有解决网络拓扑结构，尤其是跨域和跨厂商的网络拓扑结构。 我一直认为，通过收集现有的公开数据(不同厂商必须有网管系统)，将数据拼接起来，就可以拼出一个拓扑。 人们认为这是不可能的 其实想想谷歌地图，看看谷歌地图是怎么做的。需要拼接的数据量肯定是网络信息量的很多倍，难度大于网络拓扑。但是为什么地图可以算出来，而拓扑却不行呢？利用数据拼接+AI技术，可以跨厂商拼接全网的网络拓扑。 不及物动词IQ Bot给你细节的目的是打开一扇窗，让大家去寻宝。IQ Bot:认知自动化机器人，负责解决隐藏数据。IQ Bot发现并转换隐藏数据，以更快、更有效地自动化业务流程，同时消除人为错误。 在这个AI时代，如何让手中的数据发挥有价值的作用，成为deus ex在市场上的重要技能。 面对企业内部大量的暗数据，需要建立高效的数据管理系统，学会如何合理使用算法，简化流程，才能迎接这个数据泛滥的时代。 本文作者:华为云社区集锦，点击关注，第一时间了解华为云新鲜科技~