Google
WWW を検索 junglejava.jp を検索

 Hadoop / hBase 関連情報メモ

Posted in クラウドコンピューティング (RSS), データベース (RSS)

非リレーショナル・データベースの代表といえば、やはり Google の大規模分散ファイルシステム 「Google File System」 上に構築された 「BigTable」 でしょうか。これに倣ったオープンソースインフラストラクチャを開発しようとするのが 「Hadoop」 プロジェクトであり、「Google File System」 に相当するのが 「Hadoop Distributed File System(HDFS)」、 「BigTable」 に相当するのが 「hBase」 となります。
1ヶ月ほど前に 「Hadoop」 を利用した 「Amazon Elastic MapReduce」 というサービスを Amazon が開始したことでも話題となってますね。

関連情報
InfoQ: Googleライクなオープンソースインフラストラクチャ「Hadoopプロジェクト」が弾みをつける
Hadoop、hBaseで構築する大規模分散データ処理システム:CodeZine
InfoQ: HBaseの開発者がHadoop、BigTable、分散データベースについて語る
Hadoopのインストールとサンプルプログラムの実行:CodeZine

MapReduceのJava実装Apache Hadoopを使ってみた - @IT
HBase 入門 (1) - こども(てれび)
HBase 入門 (2) - こども(てれび)
Hadoopで、かんたん分散処理 (Yahoo! JAPAN Tech Blog)

アマゾン、ウィザードだけで使えるHadoopサービス開始 - @IT
アマゾン、「Hadoop」を利用した「Amazon Elastic MapReduce」のベータサービスを開始:ニュース - CNET Japan
Amazon、クラウド・コンピューティングで大規模並列分散処理エンジンHadoopをサポート

Jungle Java - Google App Engine がついに Java をサポート
Jungle Java - CouchDB 関連情報メモ
Jungle Java - Amazon SimpleDB 関連情報メモ

(04/24 追記)
んー、なんというか、ITの世界においても量子論的なものの見方が必要になってきたのかもしれません。うまく説明できませんが、そうした "時代の空気" のようなものを感じます。大規模分散データ処理というコンピュータシステムの視点から見てもそうですが、Web2.0が重視する 「集合知」 という概念も量子論的ですよね。

(05/13 追記)
株式会社スターロジックの羽生章洋が書いてるブログ:クラウド時代のデータベース

(07/22 追記)
HadoopDB Project

(08/01 追記)
Silicon Soul » HadoopDB
Silicon Soul » HadoopDBのアーキテクチャ

(09/02 追記)
Pig on Hadoop - kuangue’s blog
HadoopをRDBのように扱う、Hadoop+Hive - エンジニアが作る最新ITブログ by DODA
Hadoop+Hive検証環境を構築してみる - @IT

(10/05 追記)
Amazonクラウドが大規模分散処理の機能を強化。SQLライクな検索ができるHiveを搭載へ - Publicke

(10/27 追記)
Hadoop World Report:優良企業はなぜHadoopに走るのか - ITmedia エンタープライズ

(11/04 追記)
Hadoopの最新動向を「Hadoop World:NY 2009」の資料から(前編) - Publickey
Hadoopの最新動向を「Hadoop World:NY 2009」の資料から(後編) - Publickey

(11/06 追記)
Hadoopが秘める可能性:オンプレミスでもクラウドでも使えるプラットフォームの魅力 - builder by ZDNet Japan

(11/17 追記)
分散処理ソフト「Hadoop」のユーザー会が日本で発足、企業の導入が広がる - ニュース:ITpro

(11/24 追記)
Hadoopカンファレンスに行って来ました! - おおたに6号機blog

(2010/01/20 追記)
Welcome to Apache Hadoop!(翻訳)
【IT用語】MapReduceとHadoop
Hadoop入門
O’Reilly の Hadoop 本が、1月23日に日本で発売! ≪ Agile Cat ? Azure & Hadoop ? Talking Book

Posted on 2009年04月23日