20张图带你到HBase的世界遨游

1 HBase 浅析1.1 HBase 是啥HBase 是一款面向列存储,用于存储处理海量数据的 NoSQL 数据库。它的理论原型是 Google 的 BigTable 论文。你可以认为 HBase 是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。HBase 的存储是基于 HDFS 的,HD

Spark执行流程详解

1、在命令行执行提交命令时,在spark-submit脚本中,调用了SparkSubmit类中的mainMethod.invoke方法,这个类通过反射,调用我们自定义的类。2、我们自定义类中的main方法开始执行,初始化了SparkConf和SparkContext,将 Driver 启动起来,同时

HDFS常用命令

以下所有命令前缀皆可替换:hdfs dfs< - > hadoop fs查看文件常用命令命令格式hdfs dfs -ls path #查看文件列表 hdfs dfs -ls -R path #递归查看文件列表 hdfs dfs -lsr path #递归查看文件列表(同上)h