前言:
大数据技术一共分为:大数据底层技术、大数据平台技术、机器学习与数据分析技术。
大数据底层技术:
就是指各种大数据计算框架,存储系统、SQL引擎等等,这些技术比较常用,经过最近十几年的发展,主流的技术产品相对比较集中,主要就是MapReduce、Spark、Hive、Flink技术的产品。
大数据平台技术:
Spark、Hive这些大数据底层技术产品,大数据计算数据通常不是用户请求的数据,计算时间超过了一次用户请求响应能够接受的时间,但是大数据的计算结果需要在用户交互的过程中直接呈现,比如说智能推荐的商品,这些推荐的商品就是大数据计算的结果。所以在互联网系统架构中,需要把处理用户请求的在线业务系统和大数据计算系统打通,这就需要一个大数据平台来处理完成的。
大数据平台架构:
大数据平台主要就是跨越需要长时间处理的大数据,计算和需要实时响应的互联网应用之间的鸿沟,使系统称为一个完整的整体。
网友评论