当前访客身份:游客 [ 登录  | 注册加入尚学堂]
直播

我来了!

拥有积分:3868
尚学堂雄起!!威武。。。

博客分类

笔记中心

课题中心

提问中心

答题中心

解答题中心

  • Storm分布式实时流计算框架相关技术总结
    Storm作为一个开源的分布式实时流计算框架,其内部实现使用了一些常用的技术,这里是对这些技术及其在Storm中作用的概括介绍。以此为基础,后续再深入了解Storm的内部实现细节。 1. Zookeeper集群 Zookeeper是一个针对...
  • Storm常见问题及解决方法收集【持续更新中】
    作者: 大圆那些事 | 文章可以转载,请以超链接形式标明文章原始出处和作者信息 网址: http://www.cnblogs.com/panfeng412/archive/2012/11/23/storm-common-issues-and...
  • 集群应用及运维经验小结
    作者: 大圆那些事 | 文章可以转载,请以超链接形式标明文章原始出处和作者信息 网址: http://www.cnblogs.com/panfeng412/archive/2013/06/27/cluster-use-and-maintai...
  • GitHub项目Storm-HBase介绍
    最近完成了一个GitHub项目:Storm-HBase,该项目是Twitter Storm和Apache HBase的结合,它使用HBase cluster作为Storm的Spout数据源,目前只是初步实现,后续会进一步完善。 HBaseS...
  • Storm常见模式——流聚合
    流聚合(stream join)是指将具有共同元组(tuple)字段的数据流(两个或者多个)聚合形成一个新的数据流的过程。 从定义上看,流聚合和SQL中表的聚合(table join)很像,但是二者有明显的区别:table join的输入是...
  • Storm常见模式——批处理
    Storm对流数据进行实时处理时,一种常见场景是批量一起处理一定数量的tuple元组,而不是每接收一个tuple就立刻处理一个tuple,这样可能是性能的考虑,或者是具体业务的需要。 例如,批量查询或者更新数据库,如果每一条tuple生成一...
  • 实时计算storm流程架构总结
    http://www.linuxidc.com/Linux/2013-01/77755p2.htm Hadoop一般用在离线的分析计算中,而storm区别于hadoop,用在实时的流式计算中,被广泛用来进行实时日志处理、实时统计、实时风控等...
  • Storm在批处理和事务方面的机制分析
    1、storm事务性topology的提出 对于容错机制,Storm通过一个系统级别的组件acker,结合xor校验机制判断一个msg是否发送成功,进而spout可以重发该msg,保证一个msg在出错的情况下至少被重发一次。但是在一些事务性...
  • 使用Storm处理事务型实时计算需求时的几处难点
    接触流计算领域不长时间,对这个领域可以说还是个门外汉。最近在做实时计算相关的应用,简单说下自己的感受,以后再展开来讨论。 比流量或者订单淘宝可以把我们甩出几条大街。淘宝的兄弟可以自豪地说他们的实时应用已经承受住了双十一全世界范围内最大的单日...
  • Strom Topology执行分析:worker数,Bolt实例数,executor数,task数
    问题导读: 1.什么是Topology? 2.如何创建Topology? 3.Topology的worker数由谁来配置? 4.Topology中某个bolt的executor数由谁来指定? 5.Supervisor、worker、Exec...
北京总部地址:北京市海淀区西三旗桥东建材城西路85号神州科技园B座三层尚学堂 咨询电话:400-009-1906 010-56233821
Copyright 2007-2015 北京尚学堂科技有限公司 京ICP备13018289号-1 京公网安备11010802015183