2013年9月10日 星期二

Storm學習筆記

Storm的架構元件是基於:

  1. Apache Zookeeper
    ---  Distributed System, used to store metadata
  2. 0MQ
    ---  Async message transport-layer
  3. Apache Thrift
    ---  Cross-Language Bridge, RPC
  4. LMAX Disruptor
    ---  High performance queue shared by threads
     
  5. Kryo
    ---  Serialization framework


  • Spout(噴口):
          串流的來源, ex: 讀取log, API calls, event data, queues, ...
  • Bolt(螺栓):
          串流的聚合(處理輸入串流並產生新的串流), ex: Stream joins, DBs, APIs, Filters, Aggregation,...
  • Topology(拓樸):
           由Spout以及Bolt所構成的有向圖



沒有留言:

張貼留言