Google
WWW を検索 junglejava.jp を検索

 Power BI Desktop で REST API からデータ取得

Posted in データマイニング (RSS)

Power BI Desktop」で、REST API からのデータ取得を少しだけ試してみました。



let
ソース = Json.Document(Web.Contents("http://express.heartrails.com/api/json?method=getStations&line=JR山手線")),
response = ソース[response],
station = response[station],
テーブルに変換済み = Table.FromList(station, Splitter.SplitByNothing(), null, null, ExtraValues.Error),
#"展開された Column1" = Table.ExpandRecordColumn(テーブルに変換済み, "Column1", {"next", "prev", "line", "prefecture", "name"}, {"next", "prev", "line", "prefecture", "name"}),
並べ替えられた列 = Table.ReorderColumns(#"展開された Column1",{"line", "prefecture", "prev", "name", "next"})
in
並べ替えられた列

関連情報
Loading multiple JSON files using Power Query – Dutch Data Dude
Getting API results from Azure Machine Learning into Power Query - Powered Solutions
Reporting JSON Data With Couchbase and PowerBI - DZone Big Data
Power BI and Google Maps API (Address Lookup)
Querying Elasticsearch with PowerBI | Elton Stoneman

Jungle Java - Microsoft が無償で提供する Power BI
Jungle Java - BIツール で Apache Drill を試してみた
Jungle Java - Power BI から R が利用可能に
Jungle Java - R で JSON データを扱う

(10/10 追記)
Power BIでAPIを使わずにウェブの情報を取得する方法 - 吉田の備忘録

(10/12 追記)
Power BI 自習書シリーズ No.1 無料で利用できる Power BI を試しみよう - HTML 版 - SQLQuality
Power BI での視覚化の種類 | Microsoft Power BI

(10/17 追記)
Power BI Desktop 9月度の更新内容 - 吉田の備忘録

(11/30 追記)
Power BI Desktop を使って訪日外国人 (インバウンド) 統計データを可視化する – Microsoft Japan Data Platform Tech Sales Team Blog
Power BI Desktop チュートリアルで売上げ分析を試してみた。① データ加工編|ナレコムazureレシピ
Power BI Desktop チュートリアルで売上げ分析を試してみた。② レポート作成編|ナレコムazureレシピ

(2017/03/15 追記)
MukkuMuku備忘: Power BI - 8 - ログファイルなどをまとめてインポートする
MukkuMuku備忘: Power BI - 9 - 複数のExcel ファイルをインポートする

(2017/03/16 追記)
Power BI Desktop のプライバシー レベル | Microsoft Power BI
プライバシー レベル (Power Query) - Excel
データ ソースの設定 (Power Query) - Excel

Posted on 2016年07月17日

 R で JSON データを扱う

Posted in データマイニング (RSS)

R」で JSON データを扱う場合の関連情報をメモ。φ(..)

関連情報
RでJSONを読む
Getting started with JSON and jsonlite
Fetching JSON data from REST APIs
GitHub API(JSON)を叩いて学ぶRでのリスト操作とストーキング事情(2015年版) - まだ厨二病
階層構造になっているファイル(XML, JSON)をRで見やすく表示する - まだ厨二病
RでJSONパーサーのjqを使って快適なAPI暮らしを - まだ厨二病

fromJSON {RJSONIO} | inside-R | A Community Site for R
toJSON {jsonlite} | inside-R | A Community Site for R
jq {jqr} | inside-R | A Community Site for R

Jungle Java - R でパイプ処理
Jungle Java - 『R言語徹底解説』
Jungle Java - R で Web スクレイピング
Jungle Java - R で XML データを扱う
Jungle Java - R で Excel データを扱う

(07/17 追記)
JSONをもっと使うために知っておきたいJSONエディタ×8選 | NTT Communications Developer Portal
【レビュー】JSONデータの構造をツリー表示できるオープンソースのビューワー「JSON Viewer」 - 窓の杜
【レビュー】テキストとツリーでJSONデータを編集できる軽量な専用エディター「JSONedit」 - 窓の杜

(07/18 追記)
【レビュー】定番JSONビューワー「JSON Viewer」をさらに洗練させた「J_and_E」 - 窓の杜

(07/19 追記)
JSON仕様(ECMA-404) を眺めてみる | Money Forward Engineers' Blog
JSON でのエスケープ処理 (JSONの値に""", "\" を含める場合の処理)
JSON and JSONP | Shinta's Site

Posted on 2016年07月16日

 Power Query への接続を VBA で更新する

Posted in データマイニング (RSS)

Microsoft Excel」で、Power Query への接続を VBA で更新するサンプルを Web 上で見つけたので、試してみました。意外に便利かも。


関連情報
Refresh Power Query With VBAThe Ken Puls (Excelguru) Blog
Refresh Power Queries With VBAThe Ken Puls (Excelguru) Blog
Disable Background Refresh on All Power Query Connections - VBA

Excel 2016はどう変わった? 新規機能レビュー [エクセル(Excel)の使い方] All About
第 49 回:Excel 2016 の Power Query を使う - SQLQuality
Excel 2016 と Power Query (取得と変換)

Jungle Java - PowerPivot for Excel 関連情報メモ
Jungle Java - Microsoft が無償で提供する Power BI
Jungle Java - PowerShell から Excel を操作

(07/02 追記)
Power Queryのリボンと関数の対応表 « 空談録
・Power Query 関数非公式リファレンス - artfulplace.net
Power Query (informally known as "M") Formula reference

Power Query: How to unpivot a dynamic number of columns | ORAYLIS
Stacking non-nested groups of repeating columns in Power Query | Excel Inside
Power Query でクロス集計表・マトリックス表を表形式・テーブル形式に変換する
列のピボット解除 (Power Query) - Excel
列のピボット - Excel

Creating And Using Functions in Data Explorer (Power Query) – Chris Webb's BI Blog
Applying a Function to Every Cell in a Table in Data Explorer (Power Query) – Chris Webb's BI Blog
Writing Custom Functions in Power Query M | RADACAD
Power Query Function that Returns Multiple Values | RADACAD
Nested Calculations In Power Query – Chris Webb's BI Blog

(07/03 追記)
Notepad++ language file for the Power Query formula language (“M”) – Matt Masson
Power-BI UserGroup: Creating an editor for Power Query with Notepad++

(07/07 追記)
Power Query で取得したデータを PowerPivot へ読み込むには ~データ モデルへの追加~ - 松本美穂ブログ
Power BI で表示する Excel ブックのサイズを減らす | Microsoft Power BI
Excel と Power Pivot アドインを使用して、メモリを効率的に使用データ モデルを作成します。 - Excel

CLEAN 関数 - Office のサポート
Text.Clean


(2017/03/21 追記)
クエリをVBAで操作・取得する[Excel2016]

Posted on 2016年06月30日

 R で Excel データを扱う

Posted in データマイニング (RSS)

R」で Excel データを扱う場合は、「openxlsx」パッケージを使用するのが便利そうです。

関連情報
RでExcelのデータを読む方法
Rでxlsxファイルの読み込み(JAVAを使わない)
Rで解析:セル体裁!大きなデータも大丈夫!エクセル操作の「openxlsx」パッケージ
openxlsx - How to Read, Write and Edit XLSX Files in R | R-How.com
[PDF] openxlsx.pdf

Jungle Java - R でパイプ処理
Jungle Java - 『R言語徹底解説』
Jungle Java - R で Web スクレイピング
Jungle Java - R で XML データを扱う

(06/28 追記)
Excel等のデータをサクっとRに持って来る方法 - My Life as a Mock Quant
How to Use the Clipboard to Copy and Paste Data in R - For Dummies
R:read.csv / read.tableで型と列名を指定して読み込む。 - Qiita
colClassesで特定の列の読み込み型だけを指定、他の列はRの判断にまかせる(read.csv、read.table) - Rプログラミングの小ネタ

(06/29 追記)
エクセルの日付(シリアル値)を、Rで使えるように変換する - Rプログラミングの小ネタ
R date to Excel based number - Stack Overflow
研究編 2 日付・時刻に関するデータ構造と演算 - Leihcrev's memo

R の「型」について | 永田 晴久
データ型 | 実数,複素数,文字列などのデータ型
データ型の変換とデータ構造の変換 - R-Source

Posted on 2016年06月27日

 『R言語徹底解説』

Posted in データマイニング (RSS), 書籍 (RSS)

現在 Hadley Wickham 著の『R言語徹底解説』を読書中。正直なところ今の自分には少々敷居が高い内容となっていますが、間違いなく良書だと思います。


関連情報
R言語徹底解説(原著: Advanced R)を読んだ - まだ厨二病
Rを使ったモデル構築の最善策を求めて: {dplyr} + {tidyr} + {broom} + {purrr}を使ったアプローチ - まだ厨二病
「R言語徹底解説」(Hadley Wickham 著・石田 基広・市川 太祐・高柳 慎一・福島 真太朗訳)を読んだ。 - Technically, technophobic.
「R言語徹底解説」入門 - Qiita
「R言語徹底解説」

readr: 高速で柔軟なテーブル読み込みツール - Watal M. Iwasaki
tidyr: シンプルなデータ変形ツール - Watal M. Iwasaki
dplyr: 高速data.frame処理 - Watal M. Iwasaki
purrr: apply系関数の究極形 - Watal M. Iwasaki

大規模データの高速処理 ーdata.table、dplyrー
Rのこれだけ覚えておけばいいdata.tableの使い方 - Qiita
Rでデータの高速集計  {dplyr}の使い方まとめのまとめ – Data Science Forum
dplyrを使いこなす!基礎編 - Qiita

{purrr} による非テーブルデータの処理 // Speaker Deck
{purrr} でリストデータを操作する <1> - StatsFragments
{purrr} でリストデータを操作する <2> - StatsFragments
purrr 0.2.0を使ってみる - Technically, technophobic.

Jungle Java - R で Apache Drill を試してみた
Jungle Java - R でパイプ処理

(06/26 追記)
applyファミリー | apply,sapply,lapplyの使い方とその例
【R】初心者向けapply関数の使い方 | 楽楽研究室
apply family | uri@web

(06/27 追記)
dplyr 0.5.0を使ってみる - Technically, technophobic.

(06/28 追記)
readr 0.0.0.9000を使ってみる - Technically, technophobic.
表形式ファイルの読み込み関数あれこれ: readrパッケージの導入を兼ねて - Qiita

手を動かしながら学ぶモダンなデータ操作とtidyなデータ(2015年版) - まだ厨二病
政治学方法論 I - データの整理とAPIを利用したデータの取得

(07/13 追記)
reshape2によるクロス集計(Excelピボットテーブルと同じ操作を行う)
クロス集計~公式:dplyr + tidyr = (xtabs|(f)table) - My Life as a Mock Quant
Rで解析:インタラクティブなピボットテーブル。「rpivotTable」パッケージ
【R言語】「rpivotTable」パッケージが高機能過ぎて泣ける件 - Sapporo Marketing Blog / 札幌マーケティングブログ

Posted on 2016年06月25日

 PDI から Powershell を実行してみた

Posted in データマイニング (RSS)

オープンソースのETLツール 「Pentaho Data Integration」 から 「PowerShell」 を実行してみました。



powershell -ExecutionPolicy RemoteSigned 
-File C:\Users\barak_000\Desktop\test1.ps1

関連情報
Shell - Pentaho Data Integration - Pentaho Wiki
Execute a process - Pentaho Data Integration - Pentaho Wiki

Jungle Java - Pentaho Data Integration 関連情報メモ
Jungle Java - PDI で MongoDB に接続してみた
Jungle Java - PowerShell 関連情報メモ
Jungle Java - 『Windows PowerShellクックブック』

p.s.
「シェル(Shell)」 のアイコンは、「ジョブ(Job)」 作成時にのみデザイン画面に表示されます。「データ変換(Transformation)」 作成時には表示されません。

Posted on 2016年01月01日