一、概要描述 在上一篇博文中主要描述了JobTracker接收作业的几个服务（或功能）模块的初始化过程。本节将介绍这些服务（或功能）是如何接收到提交的job。本来作业的初始化也可以在本节内描述，但是涉及到JobInProgress的初始化过程放在一张图上太拥挤，就分开到下一篇文章中描述。 二、 流程描述 JobClient通过RPC的方式向JobTracker提交作业； 调用JobTracker的submitJob方法。该方法是JobTracker向外提供的供调用的提交作业的接口。 submit方法中调用JobTracker的addJob方法。 在addJob方法中会把作业加入到集合中供调度，并会触发注册 …

Read More

一、概述 继承自JobInProgressListener，实现了jobAdded，jobRemoved，jobUpdated方法。哦，不能说实现，应该说继承，JobInProgressListener居然是个抽象类，看着怎么这样的listener也应该是个interface。 在该listener被注册后，就响应jobAdded，jobRemoved，jobUpdated动作。在EagerTaskInitializationListener中，响应这三种动作来维护内部的一个job列表（List jobInitQueue），并启动线程对job列表中的job异步的进行初始化。 二、主要代码逻辑 在job被添加到JobTracker时， …

Read More

Hadoop的各个服务间，客户端和服务间的交互采用RPC方式。关于这种机制介绍的资源很多，也不难理解，这里不做背景介绍。只是尝试从Jobclient向JobTracker提交作业这个最简单的客户端服务器交互的代码中，去跟踪和了解下RPC是怎么被使用的。不同于准备发表博客时搜索的几篇博文，试图通过一种具体的场景来介绍，属于比较初级。其他DataNode和Namenode之间，Tasktracker和JobTracker之间的交互基本也都一样。为了引用的代码篇幅尽可能少，忽略了代码中写日志（包括Metrics）、某些判断等辅助代码。 1 RPC客户端请求（从JobClient的jobSubmitClient 入手） Jobclient包 …

Read More

看到wikipedia中文关于数据库相关的几个经典条目有点老旧，尤其和英文条目相比。确定开始翻译其中几篇，先从事务隔离等级开始。格式采用维基Sandbox发布后的格式。翻译完后自己校对过几遍，质量还可以。:-) 已经在中文维基发布。 翻译的中文条目地址：事务隔离等级； 对应的英文条目地址：Isolation (database systems) 欢迎大家指正，可以直接在维基上对应条目更新的！。 事务隔离（isolation）定义了数据库系统中一个操作产生的影响什么时候以哪种方式可以对其他并发操作可见。隔离是事务ACID (原子性、一致性性、隔离性、持久性)四大属性中的一个重要属性。 并发控制(Concurrency control) …

Read More

一、概述 k-means利用簇内点的均值或加权平均值ci（质心）作为类Ci的代表点。对数值属性数据有较好的几何和统计意义。对孤立点是敏感的，如果具有极大值，就可能大幅度地扭曲数据的分布. k-medoids(k-中心点)算法是为消除这种敏感性提出的，它选择类中位置最接近类中心的对象(称为中心点)作为类的代表点，目标函数仍然可以采用平方误差准则。 PAM（Partitioning Around Medoids，围绕中心点的划分）是最早提出的k中心点算法之一。 二、算法思想： 随机选择k个对象作为初始的k个类的代表点，将其余对象按与代表点对象的距离分配到最近的类；反复用非代表点来代替代表点，以改进聚类质量。 即：算法将判定是否存在一个对 …

Read More

一、概念 监督式学习VS非监督式学习 Supervised learning (classification): The training data (observations, measurements, etc.) are accompanied by labels indicating the class of the observations. New data is classified based on the training set. Unsupervised learning (clustering):The class labels of training data is unknown Given a set …

Read More

整理之前常用的网易邮箱的时候，发现几篇比较长的邮件，感受到了当年的年轻气盛，被自己小激励了一把。当年觉得很私密的邮件，现在倒愿意在自己的空间归档下,不然可能就真的扔掉了。是研究生入学前给当年向某位知名人生导师写的邮件，并未得到回复:-(。看到邮件里描述自己的还挺可爱的，虽然使劲回忆起来有些太心酸太囧的经历没有好意思写进去。但是有的啰嗦，怪不得人家不回呢，呵呵。好像更像是自己和自己说话。有热情，有干劲，但是似乎有一点偏执。现在回头看。豆妈说一定不要让我们豆豆也这么辛苦。很感激当年的这些经历，也不太愿意掖着藏着。倒是现在的自己有些地方需要重新拾起来一点当年的热情。 XX 老师您好： 问候您，希望不会很冒昧。 “要做就做到最好，做到山穷水 …

Read More

收拾之前的东西，不小心看到了一张纸条，是自己写给自己的。有点小感慨，记录下。 那时候刚开始工作吧，在沈阳的辽中县修桥，好像是从东北回家的路上，在北京的西单图书大厦泡了一天，买了这样一本书。当时看了，技巧倒没有得到什么，但是好像很受激励（年轻时更容易被激励吧），就下决心，真的下决心拿张破纸记下了目标，有点狂妄，当时不知道四级六级具体是啥，只知道六级比四级难，目标就写个大的。 说实话，读的那本书里面的内容已经完全不记得了，书好像也早都不在了。只是从那里面第一次听说了VOA Special English。后来就从一个还在念大学的好朋友的同学那儿拿到一个破收音机（同时还四块钱一本的从他们学校后门的旧书摊上买了四本大学英语的课本），居然收到 …

Read More

[在寄托的GRE作文练习 档下。 第二次作业：（20070727） Issue 88: http://bbs.gter.net/bbs/viewthread.php?tid=710682&extra=page%3D1 Argument 26: http://bbs.gter.net/bbs/viewthread.php?tid=710693&extra=page%3D1 第三次作业：（20070728） Issue 159: http://bbs.gter.net/bbs/viewthread.php?tid=711072&extra=page%3D1 Argument 147: …

Read More

在国米百年诞辰的时候写给俱乐部的一封信。 从1998年开始关注追随国际米兰，注册了俱乐部会员。每个生日的前夕都会受到一个合成背后印着名字，号码是当时年龄的蓝黑间条衫。 Hi Inter, HAPPY BIRTHDAY !!! I am an Inter fan of China, a postgraduate student of a University in the Northwest of China. I have been the fan of Inter for 12 years. Football was not as popular as it is now in China 12 years ago. I have …

Read More