当前访客身份:游客 [ 登录  | 注册加入尚学堂]
直播

我来了!

拥有积分:3868
尚学堂雄起!!威武。。。

博客分类

笔记中心

课题中心

提问中心

答题中心

解答题中心

  • strom中worker、task、spout/bolt、executor、component的关系
    整理一下网上有关worker、task、spout/bolt、executor、component之间的关系。 Storm在集群上运行一个Topology时,主要通过以下3个实体来完成Topology的执行工作: 1. Worker(进程)...
  • storm源码之理解Storm中Worker、Executor、Task关系
    Storm在集群上运行一个Topology时,主要通过以下3个实体来完成Topology的执行工作: 1. Worker(进程) 2. Executor(线程) 3. Task 下图简要描述了这3者之间的关系: 1个worker进程执行的是...
  • 理解storm的并行执行,workder,executor,task的关系以及调度算法
    一个storm topology运行起来之后, 会在supervisor 机器上启动一些进程来运行spout和bolt实例.  如果一个topology里面一共有一个spout, 一个bolt。 其中spout的parallelism是2,...
  • kafka+storm初探
        由于项目需要,最近对storm进行了预研,安装与使用方式网上有很多示例,在此记录一下,备忘。 一、storm简介     Storm的术语包括Stream、Spout、Bolt、Task、Worker、Stream Grouping...
  • Storm安装部署
     一、storm集群整体部署   集群总共使用了6台机器:     storm使用3个节点(nimbus在node01, supervisor在node02、node03)     zookeeper使用3个节点(node04、node05...
  • Storm实战——拓扑
    在这一章,你将知道Storm的不同拓扑组件之间是如何传递tuple的,以及如何将一个拓扑部署到生产Storm集群中。   流分组 设计一个拓扑你需要做的一件非常重要的事是定义组件(流如何被bolts消费)之间数据的交换方式。流分组指定了每个...
  • Storm实战——第一章 概述
    翻译自:Getting Started With Storm (作者:Jonathan Leibiusky, Gabriel Eisbruch and Dario Simonassi) 由于本人英文水平和理解有限,翻译难免错误,还望大家多多...
  • storm集群 + kafka单机性能测试
        storm与kafka单机功能整合很顺利,但是到了storm集群环境和数据处理性能时则出现了一些问题,现将测试过程和问题简单记录如下:     性能指标:每分钟处理至少100万的信息(csv格式,100bytes左右),信息解析后持...
  • storm进程正常运行一段时间shut down,运维方式
    storm启动一段时间后,无征兆的停止了,然后nimbus,supervisor,ui所有的worker都stop了。 我用的storm是0.8.2版本的   nimbus中留下的log如下 2014-02-19 17:05:35 nimb...
  • storm starter学习(二) - 流聚合
        SingleJoinExample示例说明了storm中流聚合的应用,将具有相同tuple属性的数据流整合成一个新的数据流。来看一下Topology。先定义两个数据源genderSpout和ageSpout,Fields分别为("i...
北京总部地址:北京市海淀区西三旗桥东建材城西路85号神州科技园B座三层尚学堂 咨询电话:400-009-1906 010-56233821
Copyright 2007-2015 北京尚学堂科技有限公司 京ICP备13018289号-1 京公网安备11010802015183