Jungle Java

R で Apache Drill を試してみた

MapR から提供されている「Apache Drill」のODBCドライバを用いて、「R」から「MongoDB」へ接続してみました。

install.packages("RODBC")
library(RODBC)
db <- odbcConnect("MapR ODBC Driver for Drill DSN",uid="mapr",pwd="mapr")
df <- sqlQuery(db, "select * from mongo.baseball.batting where G > 10")
odbcClose(db)

・Jungle Java - R から MongoDB に接続してみた
・Jungle Java - Apache Drill 関連情報メモ
・Jungle Java - Apache Drill で MongoDB に接続してみた
・Jungle Java - BIツールで Apache Drill を試してみた
・Jungle Java - Power BI から R が利用可能に

Posted on 2015年12月28日

BIツールで Apache Drill を試してみた

Posted in データベース (RSS), データマイニング (RSS)

MapR から提供されている「Apache Drill」のODBCドライバを用いて、BIツールの「Qlik Sense」と「Power BI」から「MongoDB」へ接続してみました。

１．Qlik Sense から接続

[batting]:
LIB CONNECT TO [MapR ODBC Driver for Drill DSN];
LOAD *;
SQL SELECT *
FROM mongo.baseball.batting
WHERE G > 10;

２．Power BI から接続

・Jungle Java - 『MongoDBイン・アクション』
・Jungle Java - QlikView 関連情報メモ
・Jungle Java - Microsoft が無償で提供する Power BI
・Jungle Java - Apache Drill 関連情報メモ
・Jungle Java - Apache Drill で MongoDB に接続してみた

Posted on 2015年12月27日

Apache Drill で MongoDB に接続してみた

Posted in データベース (RSS), データマイニング (RSS)

「Apache Drill」で「MongoDB」への接続を試してみました。

１．Apache Drill 起動

２．ブラウザで接続

３．Drill Explorer で接続

・Jungle Java - 『MongoDBイン・アクション』
・Jungle Java - Apache Drill 関連情報メモ
・Jungle Java - Embulk 関連情報メモ
・Jungle Java - PDI で MongoDB に接続してみた

Posted on 2015年12月21日

PDI で MongoDB に接続してみた

Posted in データベース (RSS), データマイニング (RSS)

『Pentaho Data Integration Cookbook』を参照しながら、「Pentaho Data Integration」で「MongoDB」へのインポートと「MongoDB」からのエクスポートを試してみました。

１．「MongoDB」へのインポート

２．「MongoDB」からのエクスポート

p.s.
インポート用のデータは「Lahman’s Baseball Database」から入手しました。

Posted on 2015年12月15日

Embulk 関連情報メモ

Posted in データベース (RSS), データマイニング (RSS)

オープンソースのバルクロードツール「Embulk」の関連情報をメモ。φ(..)

・Jungle Java - Talend Open Studio 関連情報メモ
・Jungle Java - Pentaho Data Integration 関連情報メモ
・Jungle Java - Apache Drill 関連情報メモ

（12/17 追記）
・Embulk(エンバルク)プラグインのまとめ - Qiita

（2016/01/14 追記）
・Embulk JSON関連のfilterプラグインを触ってみた。 - Qiita
・EmbulkとBigQueryが黄金コンビすぎる話 - Qiita
・embulk と AWS Lambda でサーバーレスデータ連携 - Qiita

（2016/06/25 追記）
・Embulk界隈で話題になっている分散ワークフローエンジン「DigDag」について調べてみた #digdag ｜ Developers.IO
・Digdag + embulk + BigQuery + Re:dash でデータ分析基盤構築の夢を見る - 雑なメモ
・ワークフローエンジンDigDagのサーバ/クライアント構成を試してみる - techium

Posted on 2015年12月15日

Apache Drill 関連情報メモ

Posted in データベース (RSS), データマイニング (RSS)

スキーマフリーの SQL クエリエンジン「Apache Drill」の関連情報をメモ。φ(..)

・Jungle Java - 『MongoDBイン・アクション』
・Jungle Java - HBase 関連情報メモ
・Jungle Java - 『Google BigQueryではじめる自前ビッグデータ処理入門』
・Jungle Java - Google BigQuery を少しだけ試してみた
・Jungle Java - Pentaho Data Integration 関連情報メモ

（12/12 追記）
・Apache Drill で日本語を扱ってみよう + オープンデータ解析

（12/15 追記）
・Apache Drill 1.2でJDBC Storage Pluginを試してみる | GMOアドパートナーズグループ TECH BLOG byGMO
・Apache Drill で MySQL にクエリを投げてみる | Enterprise Data Hub

（12/21 追記）
・政府統計情報 e-Stat を Apache Drill で分析してみる (1) - nagix
・政府統計情報 e-Stat を Apache Drill で分析してみる (2) - nagix
・政府統計情報 e-Stat を Apache Drill で分析してみる (3) - nagix

（12/28 追記）
・Apache Drillを使用してYelpの生データを数分で分析する方法 | Hadoop Times
・Apache Drill 1.4 がリリースされました | Enterprise Data Hub

・CSV ファイルのヘッダ行をカラム名に使う - nagix
・ネストデータのカラム指定方法について - nagix
・テキストファイルとNULLの扱い - nagix

（2016/06/25 追記）
・How to Use the XML Plugin for Apache Drill | MapR
・Apache Drill 1.6とMapR Converged Data Platform -ビッグデータアナリティクス向け「JSON対応」型スタックの出現 | Hadoop Times

Posted on 2015年12月05日

SQL Server 2016 関連情報メモ

Posted in データベース (RSS), データマイニング (RSS)

コミュニティ技術プレビュー（CTP）がリリースされた「SQL Server 2016」の関連情報をメモ。φ(..)
個人的には、「R」を統合した分析機能に興味があります。

・Making Data Analytics Simpler: SQL Server and R
・In-database R coming to SQL Server 2016
・SQL Server 2016 to include R | Computerworld
・5 Reasons Microsoft's R Integration in SQL Server will be Revolutionary

・Jungle Java - ローカル環境の R からクラウド上の MySQL に接続してみた
・Jungle Java - R から MongoDB に接続してみた
・Jungle Java - 『R&JavaScriptによるデータ解析と視覚化テクニック』
・Jungle Java - Microsoft Azure ML を少しだけ試してみた
・Jungle Java - 『クラウドではじめる機械学習』
・Jungle Java - SQL Data Warehouse 関連情報メモ

（07/14 追記）
・SQL Server 2016 CTP 2.0 : SQL Server Managed Backup to Azureのまとめ | 蒼の王座・裏口

（07/24 追記）
・Database Watch（2014年6月版）：Azureの「SQLデータベース」とSQL Serverは何が違う？／Pivotal HD 2.0 - ＠IT
・Database Watch（2015年6月版）：クエリストアって何だ？ SQL Server 2016のパフォーマンス向上に注目 - ＠IT

（08/30 追記）
・「ここから始めよう SQL Server 2016 新機能」連載一覧：EnterpriseZine

（11/19 追記）
・Microsoft、SQL Server 2016とAzure Data Lakeの新しいプレビュー版を発表：Computerworld

（2016/02/06 追記）
・遂に登場！SQL Server R Services、Microsoft R Server (前編)　：EnterpriseZine

（2016/05/07 追記）
・マイクロソフト、「SQL Server 2016」を6月1日に一般提供へ - ZDNet Japan

（2016/10/28 追記）
・Free Microsoft SQL Server 2016 Download
・SQL Server Express を活用しよう - クリエイティブWeb
・MicrosoftSQL Server 2016 Express LocalDB で気軽に DB を試す - Qiita
・第 52 回：SQL Server 2016 の自習書を作成しました！ - SQLQuality

・SQL Server 2016 (CTP3.2)で R Services を使ってみる - Qiita
・Introduction to R Services and R client – SQL Server 2016 | Paul Hernandez playing with Data

Posted on 2015年07月07日

Google BigQuery を少しだけ試してみた

Posted in クラウドコンピューティング (RSS), データベース (RSS), データマイニング (RSS)

１．R から接続

> devtools::install_github("hadley/assertthat")
> devtools::install_github("hadley/bigrquery")
> library(bigrquery)

> project <- "junglejava-test3" # put your project ID here
> sql <- 'SELECT * FROM test_dataset.test_table LIMIT 10;'
> data <- query_exec(sql, project = project)

２．Excel から接続（ODBC経由）