Google
WWW を検索 junglejava.jp を検索

 R で Apache Drill を試してみた

Posted in データベース (RSS), データマイニング (RSS)

MapR から提供されている 「Apache Drill」 のODBCドライバを用いて 、「R」 から 「MongoDB」 へ接続してみました。


install.packages("RODBC")
library(RODBC)
db <- odbcConnect("MapR ODBC Driver for Drill DSN",uid="mapr",pwd="mapr")
df <- sqlQuery(db, "select * from mongo.baseball.batting where G > 10")
odbcClose(db)

関連情報
Make R(ODBC) talk to MySQL on Windows 7 64bit | joy of data
CRAN - Package RODBC

Jungle Java - R から MongoDB に接続してみた
Jungle Java - Apache Drill 関連情報メモ
Jungle Java - Apache Drill で MongoDB に接続してみた
Jungle Java - BIツール で Apache Drill を試してみた
Jungle Java - Power BI から R が利用可能に

Posted on 2015年12月28日

 BIツール で Apache Drill を試してみた

Posted in データベース (RSS), データマイニング (RSS)

MapR から提供されている 「Apache Drill」 のODBCドライバを用いて 、BIツールの 「Qlik Sense」 と「Power BI」 から 「MongoDB」 へ接続してみました。

1.Qlik Sense から接続



[batting]:
LIB CONNECT TO [MapR ODBC Driver for Drill DSN];
LOAD *;
SQL SELECT *
FROM mongo.baseball.batting
WHERE G > 10;


2.Power BI から接続



関連情報
Using Drill with BI Tools - Apache Drill

Jungle Java - 『MongoDBイン・アクション』
Jungle Java - QlikView 関連情報メモ
Jungle Java - Microsoft が無償で提供する Power BI
Jungle Java - Apache Drill 関連情報メモ
Jungle Java - Apache Drill で MongoDB に接続してみた

Posted on 2015年12月27日

 PDI で MongoDB に接続してみた

Posted in データベース (RSS), データマイニング (RSS)

『Pentaho Data Integration Cookbook』 を参照しながら、「Pentaho Data Integration」 で 「MongoDB」 へのインポートと 「MongoDB」 からのエクスポートを試してみました。

1.「MongoDB」 へのインポート





2.「MongoDB」 からのエクスポート





関連情報
Jungle Java - 『MongoDBイン・アクション』
Jungle Java - Pentaho Data Integration 関連情報メモ
Jungle Java - Apache Drill 関連情報メモ
Jungle Java - Embulk 関連情報メモ

p.s.
インポート用のデータは 「Lahman’s Baseball Database」 から入手しました。

Posted on 2015年12月15日

 Embulk 関連情報メモ

Posted in データベース (RSS), データマイニング (RSS)

オープンソースのバルクロードツール 「Embulk」 の関連情報をメモ。φ(..)

関連情報
オープンソースのバルクデータローダー「Embulk」登場。fluentdのバッチ版、トレジャーデータが支援 - Publickey
新しいオープンソースEmbulkを発表1 - トレジャーデータ(Treasure Data)公式ブログ
並列データ転送ツール『Embulk』リリース! - Blog by Sadayuki Furuhashi
Treasure Dataの新データ転送ツールEmbulkを触ってみた #dtm_meetup | Developers.IO
過去のログをEmbulk(エンバルク)を使ってバルクロードしよう - Qiita
Embulkを使って大量の謎ログを読み込ませる手順 - Qiita

Jungle Java - Talend Open Studio 関連情報メモ
Jungle Java - Pentaho Data Integration 関連情報メモ
Jungle Java - Apache Drill 関連情報メモ

(12/17 追記)
Embulk(エンバルク)プラグインのまとめ - Qiita

(2016/01/14 追記)
Embulk JSON関連のfilterプラグインを触ってみた。 - Qiita
EmbulkとBigQueryが黄金コンビすぎる話 - Qiita
embulk と AWS Lambda でサーバーレスデータ連携 - Qiita

(2016/06/25 追記)
Embulk界隈で話題になっている分散ワークフローエンジン「DigDag」について調べてみた #digdag | Developers.IO
Digdag + embulk + BigQuery + Re:dash でデータ分析基盤構築の夢を見る - 雑なメモ
ワークフローエンジンDigDagのサーバ/クライアント構成を試してみる - techium

Posted on 2015年12月15日

 Apache Drill 関連情報メモ

Posted in データベース (RSS), データマイニング (RSS)

スキーマフリーの SQL クエリエンジン 「Apache Drill」 の関連情報をメモ。φ(..)

関連情報メモ
WindowsでSQLクエリエンジンのApache Drillを動かす - Qiita
apache-drill - Apache Drillに感動した(2つのJSONファイルをSQLでJOINしてみた) - Qiita
Apache Drill 1.0がリリースされたのでAmazon S3と連携してみた | Developers.IO
Apache Drill で日本語を扱うときの注意 - nagix
Apache Drill で JSON 形式の オープンデータを分析してみる - db tech showcase Tokyo 2015 …
【SQL】Apache Drillを使ってみた【MovieLens】 | FiS Project
Apache DrillでnginxのLTSVログにドリドリとSQLを投げつける - beatsync.net
Apache SparkとApache DrillのSQL機能・性能比較 | Hadoop Times

Jungle Java - 『MongoDBイン・アクション』
Jungle Java - HBase 関連情報メモ
Jungle Java - 『Google BigQueryではじめる自前ビッグデータ処理入門』
Jungle Java - Google BigQuery を少しだけ試してみた
Jungle Java - Pentaho Data Integration 関連情報メモ

(12/12 追記)
Apache Drill で日本語を扱ってみよう + オープンデータ解析

(12/15 追記)
Apache Drill 1.2でJDBC Storage Pluginを試してみる | GMOアドパートナーズグループ TECH BLOG byGMO
Apache Drill で MySQL にクエリを投げてみる | Enterprise Data Hub

(12/21 追記)
政府統計情報 e-Stat を Apache Drill で分析してみる (1) - nagix
政府統計情報 e-Stat を Apache Drill で分析してみる (2) - nagix
政府統計情報 e-Stat を Apache Drill で分析してみる (3) - nagix

(12/28 追記)
Apache Drillを使用してYelpの生データを数分で分析する方法 | Hadoop Times
Apache Drill 1.4 がリリースされました | Enterprise Data Hub

CSV ファイルのヘッダ行をカラム名に使う - nagix
ネストデータのカラム指定方法について - nagix
テキストファイルとNULLの扱い - nagix

(2016/06/25 追記)
How to Use the XML Plugin for Apache Drill | MapR
Apache Drill 1.6とMapR Converged Data Platform -ビッグデータアナリティクス向け「JSON対応」型スタックの出現 | Hadoop Times

Posted on 2015年12月05日

 SQL Server 2016 関連情報メモ

Posted in データベース (RSS), データマイニング (RSS)

コミュニティ技術プレビュー(CTP)がリリースされた 「SQL Server 2016」 の関連情報をメモ。φ(..)
個人的には、「R」 を統合した分析機能に興味があります。

関連情報
Ignite 2015 で SQL Server 2016 のアナウンスがありました at SE の雑記
SQL Server 2016はオンプレミスとクラウドにまたがったデータベースを実現、古いデータはクラウド側で保持、分析機能はRを統合。Iginte 2015 - Publickey
MS、「SQL Server 2016」の第一パブリックプレビューをリリース - ZDNet Japan
SQL Server 2016 CTP2 の提供開始が開始されました at SE の雑記

Making Data Analytics Simpler: SQL Server and R
In-database R coming to SQL Server 2016
SQL Server 2016 to include R | Computerworld
5 Reasons Microsoft's R Integration in SQL Server will be Revolutionary

Jungle Java - ローカル環境の R からクラウド上の MySQL に接続してみた
Jungle Java - R から MongoDB に接続してみた
Jungle Java - 『R&JavaScriptによるデータ解析と視覚化テクニック』
Jungle Java - Microsoft Azure ML を少しだけ試してみた
Jungle Java - 『クラウドではじめる機械学習』
Jungle Java - SQL Data Warehouse 関連情報メモ

(07/14 追記)
SQL Server 2016 CTP 2.0 : SQL Server Managed Backup to Azureのまとめ | 蒼の王座・裏口

(07/24 追記)
Database Watch(2014年6月版):Azureの「SQLデータベース」とSQL Serverは何が違う?/Pivotal HD 2.0 - @IT
Database Watch(2015年6月版):クエリストアって何だ? SQL Server 2016のパフォーマンス向上に注目 - @IT

(08/30 追記)
「ここから始めよう SQL Server 2016 新機能」連載一覧:EnterpriseZine

(11/19 追記)
Microsoft、SQL Server 2016とAzure Data Lakeの新しいプレビュー版を発表:Computerworld

(2016/02/06 追記)
遂に登場!SQL Server R Services、Microsoft R Server (前編) :EnterpriseZine

(2016/05/07 追記)
マイクロソフト、「SQL Server 2016」を6月1日に一般提供へ - ZDNet Japan

(2016/10/28 追記)
Free Microsoft SQL Server 2016 Download
SQL Server Express を活用しよう - クリエイティブWeb
MicrosoftSQL Server 2016 Express LocalDB で気軽に DB を試す - Qiita
第 52 回:SQL Server 2016 の自習書を作成しました! - SQLQuality

SQL Server 2016 (CTP3.2)で R Services を使ってみる - Qiita
Introduction to R Services and R client – SQL Server 2016 | Paul Hernandez playing with Data

Posted on 2015年07月07日

 Google BigQuery を少しだけ試してみた

Posted in クラウドコンピューティング (RSS), データベース (RSS), データマイニング (RSS)

1.R から接続


> devtools::install_github("hadley/assertthat")
> devtools::install_github("hadley/bigrquery")
> library(bigrquery)

> project <- "junglejava-test3" # put your project ID here
> sql <- 'SELECT * FROM test_dataset.test_table LIMIT 10;'
> data <- query_exec(sql, project = project)

2.Excel から接続(ODBC経由)








3.QlikView から接続

(1) QVSource から接続して、QlikView 用のロードスクリプトを取得




(2) 取得したロードスクリプトを利用して、QlikView から接続




関連情報
Using Google BigQuery with R - ThinkToStart
Google Analytics Data Mining with Big Query and R
GoogleBigQuery - BigQuery Connector for Excelを使ってExcelで超高速クエリ実行を行う - Qiita
Simba TechnologiesがCassandra,Hadoop,BigQuery,MongoDBにSQLのパワーを実現する
Google BigQuery ODBC Driver | Simba Technologies
Qlikview and Google BigQuery – Data Visualization for Big Data | BigHadoop
Google BigQuery Connector For QlikView
QVSource(キューブイソース):QlikView
QlikView × QVSource は”無料で”最強のソーシャルメディア分析ができる! | BI for everybody.

Jungle Java - 『Rによるやさしい統計学』
Jungle Java - Rコマンダーを少しだけ試してみた
Jungle Java - PowerPivot for Excel 関連情報メモ
Jungle Java - QlikView 関連情報メモ
Jungle Java - 『Google BigQueryではじめる自前ビッグデータ処理入門』

(11/30 追記)
Third-party Tools - Google BigQuery — Google Cloud Platform

(2015/04/27 追記)
Google Cloud Platform Japan 公式ブログ: Google BigQuery 新機能詳細 - ビッグデータを新しい次元へ

Posted on 2014年10月12日

 『Google BigQueryではじめる自前ビッグデータ処理入門』

Posted in クラウドコンピューティング (RSS), データベース (RSS), データマイニング (RSS), 書籍 (RSS)

ビッグデータをリアルタイムに分析することが可能な Google のサービス 「Google BigQuery」 のガイドブックが登場しました。


関連情報
ASCII.jp:今が旬のGoogle App EngineとBigQueryを解剖する
SIOS  ビッグデータ技術ブログ: Google BigQuery - お試し編
SIOS  ビッグデータ技術ブログ: Google BigQuery - データセット、テーブル作成編
SIOS  ビッグデータ技術ブログ: Google BigQuery - bq command編
GoogleのBigQueryにリアルタイムのストリーミング挿入と時限クェリが加わる - TechCrunch
GoogleのBigQueryが勢いづく
「Google アナリティクス AS “DMP”」【2】 BigQueryとDoubleClickとの連携で、Google アナリティクスは広告運用プラットフォームへ進化する:MarkeZine
Googleのリアルタイムビッグデータ分析サービスBigQueryが大幅値下げと能力アップ - TechCrunch
hadoop - Googleの虎の子「BigQuery」をFluentdユーザーが使わない理由がなくなった理由 #gcpja - Qiita
Google BigQuery を試してみよう #gcpja - インフラエンジニアway - Powered by HEARTBEATS
Google App Engine for GoからBigQuery APIを使ってみる - The Round
fluentdでnginxのログをElasticsearchとBigQueryに保存するお話 - ハウテレビジョン開発者ブログ
BigQuery と Google の Big Data Stack 2.0 - naoyaのはてなダイアリー

Jungle Java - 『Google App Engine for Java [実践]クラウドシステム構築』
Jungle Java - BigQuery 関連情報メモ
Jungle Java - Google App Engine 1.5 リリース
Jungle Java - 『Google Apps 拡張ガイド』
Jungle Java - 『クラウドWebサービス入門』

Jungle Java - 『Hadoop』
Jungle Java - Mahout 関連情報メモ
Jungle Java - HBase 関連情報メモ
Jungle Java - Redshift 関連情報メモ

(10/07 追記)
ASCII.jp:Google Cloud Platformは第3の選択肢になれるのか?
[3]個人向けで培ったインフラが凝縮されたGoogle Cloud Platform:ITpro Active

Google Cloud Storage, アップデートでAmazon S3と肩を並べる–Object Lifecycle Managementの導入など - TechCrunch
GoogleがAWSからの移行促進のためデータインポートツールOnline Cloud Importを提供 - TechCrunch
Blog @vierjp : 33.Google Cloud Datastoreを試してみた 概要編 (1/3)
Blog @vierjp : 37.Google Cloud Datastoreを試してみた GCE編 (2/3)
Blog @vierjp : 38.Google Cloud Datastoreを試してみた その他環境編 (3/3)

(11/01 追記)
Google BigQueryで今期アニメに関するツイートを分析するぞい! - Qiita

(12/02 追記)
MySQL のテーブルを BigQuery にインポートするための App::BigQuery::Importer::MySQL - まいんだーのはてなブログ

Posted on 2014年10月05日

 Redshift 関連情報メモ

Posted in クラウドコンピューティング (RSS), データベース (RSS), データマイニング (RSS)

Amazon Redshift」 の関連情報をメモ。φ(..)

関連情報
Amazon Redshift はビッグデータ分析を変えるのか - TechCrunch
「Amazon Redshift」を使ってみた ~使いどころと、つまずきがちなポイント:CodeZine
Amazon Redshiftではじめるビッグデータ処理入門:連載|gihyo.jp
Amazon Redshiftを始めてみよう(入門ガイド翻訳&実践:前編) | Developers.IO
Amazon Redshiftを始めてみよう(入門ガイド翻訳&実践:後編) | Developers.IO
AWS - 大規模データについて第6回 ~Redshift編~ - Qiita

Fluentd、Amazon RedshiftとTableauを用いたカジュアルなデータ可視化 | SmartNews開発者ブログ
ExcelでRedshift - 工場長のブログ
Amazon RedshiftにSQL Workbenchから接続してみた « サーバーワークス エンジニアブログ
AWS Solutions Architect ブログ: RedshiftとRでビッグデータ解析

Jungle Java - MapReduce をSQLライクに操作する Apache Hive
Jungle Java - 『Hadoop』
Jungle Java - Mahout 関連情報メモ
Jungle Java - 『入門 機械学習』
Jungle Java - HBase 関連情報メモ

(08/06 追記)
Amazon Redshiftで構築するビッグデータ分析環境の構成要素と全体像:CodeZine
Amazon Redshiftの分析対象とするデータの設計/加工のポイント:CodeZine

(08/14 追記)
『Amazon Redshift チュートリアル: テーブル設計チューニング』を実践してみた | Developers.IO

(10/01 追記)
Amazon Redshiftによるビッグデータ分析環境の構築手順:CodeZine

(10/06 追記)
ストリームデータをリアルタイム処理するプラットフォーム「Amazon Kinesis」を発表。1時間あたり5ドルでリアルタイムなツイートデータを分析可能。AWS re:Invent 2013 - Publickey
Amazon Kinesis/Redshift編~アクセスログをkinesisで加工してTableauで表示してみよう~ | ナレコムAWSレシピ
Amazon Kinesis/Redshift編~アクセスログをkinesisで加工してTableauで表示してみよう②~ | ナレコムAWSレシピ
Amazon Kinesis/Redshift編~アクセスログをkinesisで加工してTableauで表示してみよう③~ | ナレコムAWSレシピ
Amazon Kinesis/Redshift編~アクセスログをkinesisで加工してTableauで表示してみよう④~ | ナレコムAWSレシピ

(10/10 追記)
AWS Solutions Architect ブログ: RedshiftとRでビッグデータ解析

Posted on 2014年07月19日