2015年大数据hadoop教程8天

admin

课程先容与笔记 1.HDFS shell 1.0检察帮助 hadoop fs -help 1.1上传 hadoop fs -put 1.2检察文件内容 hadoop fs -cat 1.3检察文件列表 hadoop fs -ls / 1.4下载文件 hadoop fs -get 2.利用JAVA接口操纵HDFS 见eclipse工程下的demo 3.hadoop通讯机制 分歧进程之间的方式停止挪用 4.HDFS源码分析 FileSystem.get --> 经过反射实例化了一个DistributedFileSystem --> new DFSCilent()把他作为自己的成员变量 在DFSClient机关方式里面，挪用了createNamenode，利用了RPC机制，获得了一个NameNode的代理工具，便可以和NameNode停止通讯了 FileSystem --> DistributedFileSystem --> DFSClient --> NameNode的代理 1.履行MR的号令： hadoop jar 例子： hadoop jar /root/wc1.jar cn.itcast.d3.hadoop.mr.WordCount hdfs://itcast:9000/words /out2 2.MR履行流程 (1).客户端提交一个mr的jar包给JobClient(提交方式：hadoop jar ...) (2).JobClient经过RPC和JobTracker停止通讯，返回一个寄存jar包的地址(HDFS)和jobId (3).client将jar包写入到HDFS傍边(path = hdfs上的地址 + jobId) (4).起头提交使命(使命的描写信息，不是jar, 包括jobid，jar寄存的位置，设置信息等等) (5).JobTracker停止初始化使命 (6).读取HDFS上的要处置的文件，起头计较输入分片，每一个分片对应一个MapperTask (7).TaskTracker经过心跳机制支付使命(使命的描写信息) (8).下载所需的jar，设置文件等 (9).TaskTracker启动一个java child子进程，用来履行具体的使命(MapperTask或ReducerTask) (10).将成果写入到HDFS傍边 1.实现分区的步调： 1.1先分析一下具体的营业逻辑，肯定大要有几多个分区 1.2首先誊写一个类，它要继续org.apache.hadoop.mapreduce.Partitioner这个类 1.3重写public int getPartition这个方式，按照具体逻辑，读数据库大概设置返回不异的数字 1.4在main方式中设备Partioner的类，job.setPartitionerClass(DataPartitioner.class); 1.5设备Reducer的数目，job.setNumReduceTasks(6); 2.排序MR默许是按key2停止排序的，假如想自界说排序法则，被排序的工具要实现WritableComparable接口，在compareTo方式中实现排序法则，然后将这个工具当做k2，即可完成排序 3.combiner的感化就是在map端对输出先做一次合并，以削减传输到reducer的数据量。 4.MR启动流程 start-mapred.sh --> hadoop-daemon.sh --> hadoop --> org.apache.hadoop.mapred.JobTracker Jobtracker挪用顺序：main --> startTracker --> new JobTracker 在其机关方式中首先建立一个调剂器，接着建立一个RPC的server(interTrackerServer)tasktracker会经过PRC机制与其通讯 然后挪用offerService方式对外供给办事，在offerService方式中启动RPC server，初始化jobtracker，挪用taskScheduler的start方式 --> eagerTaskInitializationListener挪用start方式， --> 挪用jobInitManagerThread的start方式，由于其是一个线程，会挪用JobInitManager的run方式 --> jobInitQueue使命行列去取第一个使命，然后把它丢入线程池中，然后挪用-->InitJob的run方式 --> jobTracker的initJob方式 --> JobInProgress的initTasks --> maps = new TaskInProgress[numMapTasks]和reduces = new TaskInProgress[numReduceTasks]; TaskTracker挪用顺序：main --> new TaskTracker在其机关方式中挪用了initialize方式，在initialize方式中挪用RPC.waitForProxy获得一个jobtracker的代理工具 接着TaskTracker挪用了自己的run方式，--> offerService方式 --> transmitHeartBeat返回值是(HeartbeatResponse)是jobTracker的指令，在transmitHeartBeat方式中InterTrackerProtocol挪用了heartbeat将tasktracker的状态经过RPC机制发送给jobTracker,返回值就是JobTracker的指令 heartbeatResponse.getActions()获得具体的指令，然后判定指令的具体范例，起头履利用命 addToTaskQueue启动范例的指令加入到行列傍边，TaskLauncher又把使命加入到使命行列傍边，--> TaskLauncher的run方式 --> startNewTask方式 --> localizeJob下载资本 --> launchTaskForJob起头加载使命 --> launchTask --> runner.start()启动线程; --> TaskRunner挪用run方式 --> launchJvmAndWait启动java child进程 1.上传zk安装包 2.解压 3.设置(先在一台节点上设置) 3.1增加一个zoo.cfg设置文件 $ZOOKEEPER/conf mv zoo_sample.cfg zoo.cfg 3.2点窜设置文件(zoo.cfg) dataDir=/itcast/zookeeper-3.4.5/data server.1=itcast05:2888:3888 server.2=itcast06:2888:3888 server.3=itcast07:2888:3888 3.3在(dataDir=/itcast/zookeeper-3.4.5/data)建立一个myid文件，里面内容是server.N中的N(server.2里面内容为2) echo "1" > myid 3.4将设置好的zk拷贝到其他节点 scp -r /itcast/zookeeper-3.4.5/ itcast06:/itcast/ scp -r /itcast/zookeeper-3.4.5/ itcast07:/itcast/ 3.5留意：在其他节点上一定要点窜myid的内容 在itcast06应当讲myid的内容改成2 (echo "6" > myid) 在itcast07应当讲myid的内容改成3 (echo "7" > myid) 4.启动集群 别离启动zk ./zkServer.sh start 2015年传智播客大数据hadoop教程8天 游客，如果您要查看本帖隐藏内容请回复

hadoop与大数据, 大数据 除了hadoop, 大数据hadoop生态圈, hadoop教程, 2015库里数据