ElasticSearch green    2016-12-05 10:19:03    570    0    0
     因为任务安排,开发的重心,从Spark Streaming转移到了,基于ElasticSearch的开发。这次遇到的问题,是基于ElasticSearch的Java API开发时,遇到的。报错现象如下:       TransportSerializationException[Failed to deserialize response of type [org.elasticsearch.action.search.SearchResponse]]; nested: ExceptionInInitializerError
2016-08-19 18:31:09    1101    0    0
参考文章: http://grokbase.com/t/kafka/users/149pt9f6zr/producer-errors-failed-to-send-producer-request-failed-to-send-requests-for-topics time out exception http://grokbase.com/t/kafka/users
2016-07-13 10:27:40    951    0    0
这是一篇刚来有货优化集群时的记载。个人认为对于新手优化集群的思路很有帮助,记载如下。 总结: 遇到这种情况,从三个方面入手: (1)journalnode超时时间; (2)JVM参数优化; (3)yarn-site.xml和yarn-site.xml配置文件优化。     一:任务: /datacenter/shell/user/f
2016-07-12 11:30:20    371    0    0
Iterm2是Mac的利器,就不做过多介绍了,现在介绍一下怎样在Iterm2上使用服务器上传下载的插件。 1:安装: 本地和远端都执行这一命令,尽量安装在普通用户下: curl -L https://iterm2.com/misc/install_shell_integration.sh | bash   2:配置: M
2016-06-16 13:04:34    406    1    0
具体可以参照这篇文章学习: http://rpf413.blog.163.com/blog/static/4556376020122831444674/          大数据服务器上运行的一些程序遇到了时区问题。         问题描述: &n
2016-06-08 11:59:15    240    0    0
  在MapReduce操作时,我们知道传递的<key,value>会按照key的大小进行排序,最后输出的结果是按照key排过序的。有的时候我们在key排序的基础上,对value也进行排序。这种需求就是二次排序。   需求:先按照第一列整数大小排序,如果第一列相同,按照第二列整数大小排序。 输入数据: 20    
2016-06-02 17:12:25    740    0    0
1:创建gitlab用户,将本地的 ~/.ssh/id_rsa.pub 公匙拷贝到gitlab上,使得双方可以免密传文件; 2:需求:我需要提交一个已经在本地写好的项目到gitlab上。 (1)在gitlab网页上创建一个项目,名为yoho-operation; (2)初始化一下本地的git设置: git config --global user.name "rocketeer" git config --global user.email "jinyuan.du@yoho.cn" (3)在本地创建一个文件夹yoho-operation,cd到目录下面: 执行: git clone
2016-05-22 13:48:47    339    0    0
远程过程调用  浅出篇 http://blog.csdn.net/mindfloating/article/details/39473807 远程过程调用  深入篇 http://blog.csdn.net/mindfloating/article/details/39474123   浅谈RPC调用 http://blog.chinaunix.n
2016-05-21 21:37:44    234    0    0
  总结此文:这些知识皆为开始分布式编程的基础中的基础。 目录: 一:传输层(TCP UDP) 1:TCP 2:UDP 3:   TCP和UDP区别 二:网络层(IP) 三:Socket 四:DNS 五:网络七层协议 六:TCP/IP协议数据传输   一:传输层(TCP UDP) 1:TCP(Transmission Con
2016-05-18 15:55:19    520    0    0
一:服务端:yum-server配置 在第一个节点spark00上配置 1:配置Yum源 cat > /etc/yum.repos.d/cloudera-cdh5.repo <<! [cloudera-cdh5] # Packages for Cloudera's Distribution