解析百度开放云分布式计算平台对大数据的处理

　 域名预订/竞价，好“米”不错过

百度开放云总经理刘旸看来，当今世界正面临着由技术突破带来的全行业升级，在这场商业剧变中，背后是三个重要的「重新定义」：第一，云计算重新定义了「IT」。它改变了企业所需要的 IT 资源的拥有与供给的方式，基于互联网级的资源管理平台，彻底改变了传统企业的 IT 模式，为新的商业创新提供了可能；

第二，大数据重定义了「资产」，相较于以往的重资产，企业在经营中不断生成的数据，将成为企业未来继续生存并保持竞争力的砝码；第三，人工智能重定义了「效率」，通过语音、图像、视频、自然语言识别和智能处理等技术，让传统的计算机具备更为强大的能力，大幅提升工作效率。

基于以上三个重新定义，百度开放云的重新堆栈也分为三层：云计算层、大数据应用层、和人工智能层。

处理大数据无非以下四个步骤：

收集：原始数据种类多样，格式、位置、存储、时效性等迥异。数据收集从异构数据源中收集数据并转换成相应的格式方便处理。

存储：收集好的数据需要根据成本、格式、查询、业务逻辑等需求，存放在合适的存储中，方便进一步的分析。

变形：原始数据需要变形与增强之后才适合分析，比如网页日志中把IP地址替换成省市、传感器数据的纠错、用户行为统计等。

分析：通过整理好的数据分析what happened、why it happened、what is happening和what will happen，帮助企业决策。

其实，如果涉及到“大数据”，不得不提百度最大的业务——搜索。百度搜索已经收录全世界超过一万亿的网页，每天响应中国网民大约几十亿次的请求。除此之外，百度还有另外20多个用户过亿的产品线，而且各个产品底层的大规模数据处理，都需要使用百度团队维护的大数据处理平台。