• 【hadoop代码笔记】Hadoop作业提交中EagerTaskInitializationListener的作用

    calendar Jan 15, 2014 · 1 min read · hadoop java mapreduce  ·
    Share on: linkedin copy

    一、概述 继承自JobInProgressListener，实现了jobAdded，jobRemoved，jobUpdated方法。哦，不能说实现，应该说继承，JobInProgressListener居然是个抽象类，看着怎么这样的listener也应该是个interface。 在该listener被注册后，就响应jobAdded，jobRemoved，jobUpdated动作。在EagerTaskInitializationListener中，响应这三种动作来维护内部的一个job列表（List jobInitQueue），并启动线程对job列表中的job异步的进行初始化。 二、主要代码逻辑 在job被添加到JobTracker时， …


    Read More

  • 【hadoop代码笔记】通过JobClient对Jobtracker的调用详细了解Hadoop RPC

    calendar Jan 11, 2014 · 6 min read · mapreduce RPC  ·
    Share on: linkedin copy

    Hadoop的各个服务间，客户端和服务间的交互采用RPC方式。关于这种机制介绍的资源很多，也不难理解，这里不做背景介绍。只是尝试从Jobclient向JobTracker提交作业这个最简单的客户端服务器交互的代码中，去跟踪和了解下RPC是怎么被使用的。不同于准备发表博客时搜索的几篇博文，试图通过一种具体的场景来介绍，属于比较初级。其他DataNode和Namenode之间，Tasktracker和JobTracker之间的交互基本也都一样。为了引用的代码篇幅尽可能少，忽略了代码中写日志（包括Metrics）、某些判断等辅助代码。 1 RPC客户端请求（从JobClient的jobSubmitClient 入手） Jobclient包 …


    Read More