Power BI Desktop で REST API からデータ取得
「Power BI Desktop」で、REST API からのデータ取得を少しだけ試してみました。
![](http://www.junglejava.jp/images/201607/PowerBI_REST_01.jpg)
![](http://www.junglejava.jp/images/201607/PowerBI_REST_02.jpg)
let ソース = Json.Document(Web.Contents("http://express.heartrails.com/api/json?method=getStations&line=JR山手線")), response = ソース[response], station = response[station], テーブルに変換済み = Table.FromList(station, Splitter.SplitByNothing(), null, null, ExtraValues.Error), #"展開された Column1" = Table.ExpandRecordColumn(テーブルに変換済み, "Column1", {"next", "prev", "line", "prefecture", "name"}, {"next", "prev", "line", "prefecture", "name"}), 並べ替えられた列 = Table.ReorderColumns(#"展開された Column1",{"line", "prefecture", "prev", "name", "next"}) in 並べ替えられた列
関連情報
・Loading
multiple JSON files using Power Query – Dutch Data Dude
・Getting
API results from Azure Machine Learning into Power Query - Powered
Solutions
・Reporting
JSON Data With Couchbase and PowerBI - DZone Big Data
・Power
BI and Google Maps API (Address Lookup)
・Querying
Elasticsearch with PowerBI | Elton Stoneman
・Jungle
Java - Microsoft が無償で提供する Power BI
・Jungle
Java - BIツール で Apache Drill を試してみた
・Jungle
Java - Power BI から R が利用可能に
・Jungle
Java - R で JSON データを扱う
(10/10 追記)
・Power
BIでAPIを使わずにウェブの情報を取得する方法 - 吉田の備忘録
(10/12 追記)
・Power
BI 自習書シリーズ No.1 無料で利用できる Power BI を試しみよう - HTML 版 - SQLQuality
・Power
BI での視覚化の種類 | Microsoft Power BI
(10/17 追記)
・Power
BI Desktop 9月度の更新内容 - 吉田の備忘録
(11/30 追記)
・Power
BI Desktop を使って訪日外国人 (インバウンド) 統計データを可視化する – Microsoft Japan Data
Platform Tech Sales Team Blog
・Power
BI Desktop チュートリアルで売上げ分析を試してみた。① データ加工編|ナレコムazureレシピ
・Power
BI Desktop チュートリアルで売上げ分析を試してみた。② レポート作成編|ナレコムazureレシピ
(2017/03/15 追記)
・MukkuMuku備忘:
Power BI - 8 - ログファイルなどをまとめてインポートする
・MukkuMuku備忘:
Power BI - 9 - 複数のExcel ファイルをインポートする
(2017/03/16 追記)
・Power
BI Desktop のプライバシー レベル | Microsoft Power BI
・プライバシー
レベル (Power Query) - Excel
・データ
ソースの設定 (Power Query) - Excel
R で JSON データを扱う
「R」で JSON データを扱う場合の関連情報をメモ。φ(..)
関連情報
・RでJSONを読む
・Getting
started with JSON and jsonlite
・Fetching
JSON data from REST APIs
・GitHub
API(JSON)を叩いて学ぶRでのリスト操作とストーキング事情(2015年版) - まだ厨二病
・階層構造になっているファイル(XML,
JSON)をRで見やすく表示する - まだ厨二病
・RでJSONパーサーのjqを使って快適なAPI暮らしを
- まだ厨二病
・fromJSON
{RJSONIO} | inside-R | A Community Site for R
・toJSON
{jsonlite} | inside-R | A Community Site for R
・jq
{jqr} | inside-R | A Community Site for R
・Jungle
Java - R でパイプ処理
・Jungle
Java - 『R言語徹底解説』
・Jungle
Java - R で Web スクレイピング
・Jungle
Java - R で XML データを扱う
・Jungle
Java - R で Excel データを扱う
(07/17 追記)
・JSONをもっと使うために知っておきたいJSONエディタ×8選
| NTT Communications Developer Portal
・【レビュー】JSONデータの構造をツリー表示できるオープンソースのビューワー「JSON
Viewer」 - 窓の杜
・【レビュー】テキストとツリーでJSONデータを編集できる軽量な専用エディター「JSONedit」
- 窓の杜
(07/18 追記)
・【レビュー】定番JSONビューワー「JSON
Viewer」をさらに洗練させた「J_and_E」 - 窓の杜
(07/19 追記)
・JSON仕様(ECMA-404)
を眺めてみる | Money Forward Engineers' Blog
・JSON
でのエスケープ処理 (JSONの値に""", "\" を含める場合の処理)
・JSON
and JSONP | Shinta's Site
Power Query への接続を VBA で更新する
「Microsoft Excel」で、Power Query への接続を VBA で更新するサンプルを Web 上で見つけたので、試してみました。意外に便利かも。
![](http://www.junglejava.jp/images/201606/RefreshPQ.jpg)
関連情報
・Refresh
Power Query With VBAThe Ken Puls (Excelguru) Blog
・Refresh
Power Queries With VBAThe Ken Puls (Excelguru) Blog
・Disable
Background Refresh on All Power Query Connections - VBA
・Excel 2016はどう変わった?
新規機能レビュー [エクセル(Excel)の使い方] All About
・第
49 回:Excel 2016 の Power Query を使う - SQLQuality
・Excel
2016 と Power Query (取得と変換)
・Jungle
Java - PowerPivot for Excel 関連情報メモ
・Jungle
Java - Microsoft が無償で提供する Power BI
・Jungle
Java - PowerShell から Excel を操作
(07/02 追記)
・Power
Queryのリボンと関数の対応表 « 空談録
・Power
Query 関数非公式リファレンス - artfulplace.net
・Power
Query (informally known as "M") Formula reference
・Power
Query: How to unpivot a dynamic number of columns | ORAYLIS
・Stacking
non-nested groups of repeating columns in Power Query | Excel Inside
・Power
Query でクロス集計表・マトリックス表を表形式・テーブル形式に変換する
・列のピボット解除
(Power Query) - Excel
・列のピボット
- Excel
・Creating
And Using Functions in Data Explorer (Power Query) – Chris Webb's BI Blog
・Applying
a Function to Every Cell in a Table in Data Explorer (Power Query) –
Chris Webb's BI Blog
・Writing
Custom Functions in Power Query M | RADACAD
・Power
Query Function that Returns Multiple Values | RADACAD
・Nested
Calculations In Power Query – Chris Webb's BI Blog
(07/03 追記)
・Notepad++
language file for the Power Query formula language (“M”) – Matt Masson
・Power-BI
UserGroup: Creating an editor for Power Query with Notepad++
(07/07 追記)
・Power
Query で取得したデータを PowerPivot へ読み込むには ~データ モデルへの追加~ - 松本美穂ブログ
・Power
BI で表示する Excel ブックのサイズを減らす | Microsoft Power BI
・Excel
と Power Pivot アドインを使用して、メモリを効率的に使用データ モデルを作成します。 - Excel
・CLEAN
関数 - Office のサポート
・Text.Clean
![](http://www.junglejava.jp/images/201607/TextClean.jpg)
(2017/03/21 追記)
・クエリをVBAで操作・取得する[Excel2016]
R で Excel データを扱う
「R」で Excel データを扱う場合は、「openxlsx」パッケージを使用するのが便利そうです。
関連情報
・RでExcelのデータを読む方法
・Rでxlsxファイルの読み込み(JAVAを使わない)
・Rで解析:セル体裁!大きなデータも大丈夫!エクセル操作の「openxlsx」パッケージ
・openxlsx
- How to Read, Write and Edit XLSX Files in R | R-How.com
・[PDF]
openxlsx.pdf
・Jungle
Java - R でパイプ処理
・Jungle
Java - 『R言語徹底解説』
・Jungle
Java - R で Web スクレイピング
・Jungle
Java - R で XML データを扱う
(06/28 追記)
・Excel等のデータをサクっとRに持って来る方法
- My Life as a Mock Quant
・How
to Use the Clipboard to Copy and Paste Data in R - For Dummies
・R:read.csv
/ read.tableで型と列名を指定して読み込む。 - Qiita
・colClassesで特定の列の読み込み型だけを指定、他の列はRの判断にまかせる(read.csv、read.table)
- Rプログラミングの小ネタ
(06/29 追記)
・エクセルの日付(シリアル値)を、Rで使えるように変換する
- Rプログラミングの小ネタ
・R
date to Excel based number - Stack Overflow
・研究編
2 日付・時刻に関するデータ構造と演算 - Leihcrev's memo
・R の「型」について | 永田 晴久
・データ型
| 実数,複素数,文字列などのデータ型
・データ型の変換とデータ構造の変換
- R-Source
R で XML データを扱う
「R」で XML データを扱う場合は、リストに変換してから「rlist」パッケージを使って操作するのが便利そうです。
関連情報
・Rでxml形式のファイルを読む(超初心者)
- 記録(仮)
・R
による XML の CSV 化 - なんとなくな Developer のメモ
・XMLデータの扱い方
・R
lists and XML
・getNodeSet
{XML} | inside-R | A Community Site for R
・xmlApply
{XML} | inside-R | A Community Site for R
・xmlToDataFrame
{XML} | inside-R | A Community Site for R
・xmlToList
{XML} | inside-R | A Community Site for R
・rlist:
a new package for working with list objects in R | R-bloggers
・rlistパッケージはリストのデータハンドリングに便利
- 盆栽日記
・RでAPIデータを扱うときはrlistを使うとストレスフリー
- Qiita
・リスト
| Rのリストはハッシュやマップのように利用できる
・rlistパッケージのススメ
・Introduction
| rlist Tutorial
・Jungle
Java - R でパイプ処理
・Jungle
Java - 『R言語徹底解説』
・Jungle
Java - R で Web スクレイピング
R で Web スクレイピング
「R」で Web スクレイピングを行う際には、「rvest」パッケージを使用するのが便利そうです。
関連情報
・【R】初心者向けRでWebスクレイピングする方法
| 楽楽研究室
・rvest:
easy web scraping with R | RStudio Blog
・rvestでリアルタイムな為替レートを取得したい
- My Life as a Mock Quant
・rvest
Introduction
・rvest
| pipeR Tutorial
・{rvest}を使って植物の学名をYListから取得する
- まだ厨二病
・ホテル街を見つける(1)Rでスクレイピング入門
- 社会ノマド
・ホテル街を見つける(2)RとGoogleAPIでジオコーディング
- 社会ノマド
・Jungle
Java - R でパイプ処理
・Jungle
Java - 『R言語徹底解説』
(10/29 追記)
・都道府県別の平均年収
・How
to Scrape Japanese Text Using the rvest Package – Become Great at R
・Scrape
website data with the new R package rvest (+ a postscript on interacting
with web pages with RSelenium) | Technical Tidbits From Spatial Analysis
& Data Science
・Scraping
with Selenium | R-bloggers
・RPubs
- RSelenium : Headless browsing
・RPubs
- RSelenium basics
・[翻訳]
RSelenium vignette: RSeleniumの基本 - Qiita
『R言語徹底解説』
現在 Hadley Wickham 著の『R言語徹底解説』を読書中。正直なところ今の自分には少々敷居が高い内容となっていますが、間違いなく良書だと思います。
関連情報
・R言語徹底解説(原著:
Advanced R)を読んだ - まだ厨二病
・Rを使ったモデル構築の最善策を求めて:
{dplyr} + {tidyr} + {broom} + {purrr}を使ったアプローチ - まだ厨二病
・「R言語徹底解説」(Hadley
Wickham 著・石田 基広・市川 太祐・高柳 慎一・福島 真太朗訳)を読んだ。 - Technically, technophobic.
・「R言語徹底解説」入門
- Qiita
・「R言語徹底解説」
・readr:
高速で柔軟なテーブル読み込みツール - Watal M. Iwasaki
・tidyr:
シンプルなデータ変形ツール - Watal M. Iwasaki
・dplyr:
高速data.frame処理 - Watal M. Iwasaki
・purrr:
apply系関数の究極形 - Watal M. Iwasaki
・大規模データの高速処理
ーdata.table、dplyrー
・Rのこれだけ覚えておけばいいdata.tableの使い方
- Qiita
・Rでデータの高速集計
{dplyr}の使い方まとめのまとめ – Data Science Forum
・dplyrを使いこなす!基礎編
- Qiita
・{purrr}
による非テーブルデータの処理 // Speaker Deck
・{purrr}
でリストデータを操作する <1> - StatsFragments
・{purrr}
でリストデータを操作する <2> - StatsFragments
・purrr
0.2.0を使ってみる - Technically, technophobic.
・Jungle
Java - R で Apache Drill を試してみた
・Jungle
Java - R でパイプ処理
(06/26 追記)
・applyファミリー
| apply,sapply,lapplyの使い方とその例
・【R】初心者向けapply関数の使い方
| 楽楽研究室
・apply
family | uri@web
(06/27 追記)
・dplyr
0.5.0を使ってみる - Technically, technophobic.
(06/28 追記)
・readr
0.0.0.9000を使ってみる - Technically, technophobic.
・表形式ファイルの読み込み関数あれこれ:
readrパッケージの導入を兼ねて - Qiita
・手を動かしながら学ぶモダンなデータ操作とtidyなデータ(2015年版)
- まだ厨二病
・政治学方法論
I - データの整理とAPIを利用したデータの取得
(07/13 追記)
・reshape2によるクロス集計(Excelピボットテーブルと同じ操作を行う)
・クロス集計~公式:dplyr
+ tidyr = (xtabs|(f)table) - My Life as a Mock Quant
・Rで解析:インタラクティブなピボットテーブル。「rpivotTable」パッケージ
・【R言語】「rpivotTable」パッケージが高機能過ぎて泣ける件
- Sapporo Marketing Blog / 札幌マーケティングブログ
PDI から Powershell を実行してみた
オープンソースのETLツール 「Pentaho Data Integration」 から 「PowerShell」 を実行してみました。
![](http://www.junglejava.jp/images/201601/PDI_PowerShell_01.jpg)
![](http://www.junglejava.jp/images/201601/PDI_PowerShell_02.jpg)
powershell -ExecutionPolicy RemoteSigned
-File C:\Users\barak_000\Desktop\test1.ps1
関連情報
・Shell
- Pentaho Data Integration - Pentaho Wiki
・Execute
a process - Pentaho Data Integration - Pentaho Wiki
・Jungle
Java - Pentaho Data Integration 関連情報メモ
・Jungle
Java - PDI で MongoDB に接続してみた
・Jungle
Java - PowerShell 関連情報メモ
・Jungle
Java - 『Windows PowerShellクックブック』
p.s.
「シェル(Shell)」 のアイコンは、「ジョブ(Job)」 作成時にのみデザイン画面に表示されます。「データ変換(Transformation)」
作成時には表示されません。