Power BI Desktop で REST API からデータ取得
「Power BI Desktop」で、REST API からのデータ取得を少しだけ試してみました。
let
ソース = Json.Document(Web.Contents("http://express.heartrails.com/api/json?method=getStations&line=JR山手線")),
response = ソース[response],
station = response[station],
テーブルに変換済み = Table.FromList(station, Splitter.SplitByNothing(), null, null, ExtraValues.Error),
#"展開された Column1" = Table.ExpandRecordColumn(テーブルに変換済み, "Column1", {"next", "prev", "line", "prefecture", "name"}, {"next", "prev", "line", "prefecture", "name"}),
並べ替えられた列 = Table.ReorderColumns(#"展開された Column1",{"line", "prefecture", "prev", "name", "next"})
in
並べ替えられた列
関連情報
・Loading
multiple JSON files using Power Query – Dutch Data Dude
・Getting
API results from Azure Machine Learning into Power Query - Powered
Solutions
・Reporting
JSON Data With Couchbase and PowerBI - DZone Big Data
・Power
BI and Google Maps API (Address Lookup)
・Querying
Elasticsearch with PowerBI | Elton Stoneman
・Jungle
Java - Microsoft が無償で提供する Power BI
・Jungle
Java - BIツール で Apache Drill を試してみた
・Jungle
Java - Power BI から R が利用可能に
・Jungle
Java - R で JSON データを扱う
（10/10 追記）
・Power
BIでAPIを使わずにウェブの情報を取得する方法 - 吉田の備忘録
（10/12 追記）
・Power
BI 自習書シリーズ No.1 無料で利用できる Power BI を試しみよう - HTML 版 - SQLQuality
・Power
BI での視覚化の種類 | Microsoft Power BI
（10/17 追記）
・Power
BI Desktop 9月度の更新内容 - 吉田の備忘録
（11/30 追記）
・Power
BI Desktop を使って訪日外国人 (インバウンド) 統計データを可視化する – Microsoft Japan Data
Platform Tech Sales Team Blog
・Power
BI Desktop チュートリアルで売上げ分析を試してみた。① データ加工編｜ナレコムazureレシピ
・Power
BI Desktop チュートリアルで売上げ分析を試してみた。② レポート作成編｜ナレコムazureレシピ
（2017/03/15 追記）
・MukkuMuku備忘:
Power BI - 8 - ログファイルなどをまとめてインポートする
・MukkuMuku備忘:
Power BI - 9 - 複数のExcel ファイルをインポートする
（2017/03/16 追記）
・Power
BI Desktop のプライバシー レベル | Microsoft Power BI
・プライバシー
レベル (Power Query) - Excel
・データ
ソースの設定 (Power Query) - Excel
R で JSON データを扱う
「R」で JSON データを扱う場合の関連情報をメモ。φ(..)
関連情報
・RでJSONを読む
・Getting
started with JSON and jsonlite
・Fetching
JSON data from REST APIs
・GitHub
API(JSON)を叩いて学ぶRでのリスト操作とストーキング事情（2015年版） - まだ厨二病
・階層構造になっているファイル（XML,
JSON）をRで見やすく表示する - まだ厨二病
・RでJSONパーサーのjqを使って快適なAPI暮らしを
- まだ厨二病
・fromJSON
{RJSONIO} | inside-R | A Community Site for R
・toJSON
{jsonlite} | inside-R | A Community Site for R
・jq
{jqr} | inside-R | A Community Site for R
・Jungle
Java - R でパイプ処理
・Jungle
Java - 『R言語徹底解説』
・Jungle
Java - R で Web スクレイピング
・Jungle
Java - R で XML データを扱う
・Jungle
Java - R で Excel データを扱う
（07/17 追記）
・JSONをもっと使うために知っておきたいJSONエディタ×8選
| NTT Communications Developer Portal
・【レビュー】JSONデータの構造をツリー表示できるオープンソースのビューワー「JSON
Viewer」 - 窓の杜
・【レビュー】テキストとツリーでJSONデータを編集できる軽量な専用エディター「JSONedit」
- 窓の杜
（07/18 追記）
・【レビュー】定番JSONビューワー「JSON
Viewer」をさらに洗練させた「J_and_E」 - 窓の杜
（07/19 追記）
・JSON仕様（ECMA-404）
を眺めてみる | Money Forward Engineers' Blog
・JSON
でのエスケープ処理 (JSONの値に""", "\" を含める場合の処理)
・JSON
and JSONP | Shinta's Site
Power Query への接続を VBA で更新する
「Microsoft Excel」で、Power Query への接続を VBA で更新するサンプルを Web 上で見つけたので、試してみました。意外に便利かも。
関連情報
・Refresh
Power Query With VBAThe Ken Puls (Excelguru) Blog
・Refresh
Power Queries With VBAThe Ken Puls (Excelguru) Blog
・Disable
Background Refresh on All Power Query Connections - VBA
・Excel 2016はどう変わった？
新規機能レビュー [エクセル（Excel）の使い方] All About
・第
49 回：Excel 2016 の Power Query を使う - SQLQuality
・Excel
2016 と Power Query (取得と変換)
・Jungle
Java - PowerPivot for Excel 関連情報メモ
・Jungle
Java - Microsoft が無償で提供する Power BI
・Jungle
Java - PowerShell から Excel を操作
（07/02 追記）
・Power
Queryのリボンと関数の対応表 « 空談録
・Power
Query 関数非公式リファレンス - artfulplace.net
・Power
Query (informally known as "M") Formula reference
・Power
Query: How to unpivot a dynamic number of columns | ORAYLIS
・Stacking
non-nested groups of repeating columns in Power Query | Excel Inside
・Power
Query でクロス集計表・マトリックス表を表形式・テーブル形式に変換する
・列のピボット解除
(Power Query) - Excel
・列のピボット
- Excel
・Creating
And Using Functions in Data Explorer (Power Query) – Chris Webb's BI Blog
・Applying
a Function to Every Cell in a Table in Data Explorer (Power Query) –
Chris Webb's BI Blog
・Writing
Custom Functions in Power Query M | RADACAD
・Power
Query Function that Returns Multiple Values | RADACAD
・Nested
Calculations In Power Query – Chris Webb's BI Blog
（07/03 追記）
・Notepad++
language file for the Power Query formula language (“M”) – Matt Masson
・Power-BI
UserGroup: Creating an editor for Power Query with Notepad++
（07/07 追記）
・Power
Query で取得したデータを PowerPivot へ読み込むには ～データ モデルへの追加～ - 松本美穂ブログ
・Power
BI で表示する Excel ブックのサイズを減らす | Microsoft Power BI
・Excel
と Power Pivot アドインを使用して、メモリを効率的に使用データ モデルを作成します。 - Excel
・CLEAN
関数 - Office のサポート
・Text.Clean
（2017/03/21 追記）
・クエリをVBAで操作・取得する[Excel2016]
R で Excel データを扱う
「R」で Excel データを扱う場合は、「openxlsx」パッケージを使用するのが便利そうです。
関連情報
・RでExcelのデータを読む方法
・Rでxlsxファイルの読み込み(JAVAを使わない)
・Rで解析：セル体裁！大きなデータも大丈夫！エクセル操作の「openxlsx」パッケージ
・openxlsx
- How to Read, Write and Edit XLSX Files in R | R-How.com
・[PDF]
openxlsx.pdf
・Jungle
Java - R でパイプ処理
・Jungle
Java - 『R言語徹底解説』
・Jungle
Java - R で Web スクレイピング
・Jungle
Java - R で XML データを扱う
（06/28 追記）
・Excel等のデータをサクっとRに持って来る方法
- My Life as a Mock Quant
・How
to Use the Clipboard to Copy and Paste Data in R - For Dummies
・R：read.csv
/ read.tableで型と列名を指定して読み込む。 - Qiita
・colClassesで特定の列の読み込み型だけを指定、他の列はRの判断にまかせる(read.csv、read.table)
- Rプログラミングの小ネタ
（06/29 追記）
・エクセルの日付(シリアル値)を、Rで使えるように変換する
- Rプログラミングの小ネタ
・R
date to Excel based number - Stack Overflow
・研究編
2 日付・時刻に関するデータ構造と演算 - Leihcrev's memo
・R の「型」について | 永田 晴久
・データ型
| 実数,複素数,文字列などのデータ型
・データ型の変換とデータ構造の変換
- R-Source
R で XML データを扱う
「R」で XML データを扱う場合は、リストに変換してから「rlist」パッケージを使って操作するのが便利そうです。
関連情報
・Rでxml形式のファイルを読む(超初心者)
- 記録（仮）
・R
による XML の CSV 化 - なんとなくな Developer のメモ
・XMLデータの扱い方
・R
lists and XML
・getNodeSet
{XML} | inside-R | A Community Site for R
・xmlApply
{XML} | inside-R | A Community Site for R
・xmlToDataFrame
{XML} | inside-R | A Community Site for R
・xmlToList
{XML} | inside-R | A Community Site for R
・rlist:
a new package for working with list objects in R | R-bloggers
・rlistパッケージはリストのデータハンドリングに便利
- 盆栽日記
・RでAPIデータを扱うときはrlistを使うとストレスフリー
- Qiita
・リスト
| Rのリストはハッシュやマップのように利用できる
・rlistパッケージのススメ
・Introduction
| rlist Tutorial
・Jungle
Java - R でパイプ処理
・Jungle
Java - 『R言語徹底解説』
・Jungle
Java - R で Web スクレイピング
R で Web スクレイピング
「R」で Web スクレイピングを行う際には、「rvest」パッケージを使用するのが便利そうです。
関連情報
・【R】初心者向けRでWebスクレイピングする方法
| 楽楽研究室
・rvest:
easy web scraping with R | RStudio Blog
・rvestでリアルタイムな為替レートを取得したい
- My Life as a Mock Quant
・rvest
Introduction
・rvest
| pipeR Tutorial
・{rvest}を使って植物の学名をYListから取得する
- まだ厨二病
・ホテル街を見つける（１）Rでスクレイピング入門
- 社会ノマド
・ホテル街を見つける（２）RとGoogleAPIでジオコーディング
- 社会ノマド
・Jungle
Java - R でパイプ処理
・Jungle
Java - 『R言語徹底解説』
（10/29 追記）
・都道府県別の平均年収
・How
to Scrape Japanese Text Using the rvest Package – Become Great at R
・Scrape
website data with the new R package rvest (+ a postscript on interacting
with web pages with RSelenium) | Technical Tidbits From Spatial Analysis
& Data Science
・Scraping
with Selenium | R-bloggers
・RPubs
- RSelenium : Headless browsing
・RPubs
- RSelenium basics
・[翻訳]
RSelenium vignette: RSeleniumの基本 - Qiita
『R言語徹底解説』
現在 Hadley Wickham 著の『R言語徹底解説』を読書中。正直なところ今の自分には少々敷居が高い内容となっていますが、間違いなく良書だと思います。
関連情報
・R言語徹底解説（原著:
Advanced R）を読んだ - まだ厨二病
・Rを使ったモデル構築の最善策を求めて:
{dplyr} + {tidyr} + {broom} + {purrr}を使ったアプローチ - まだ厨二病
・「R言語徹底解説」（Hadley
Wickham 著・石田 基広・市川 太祐・高柳 慎一・福島 真太朗訳）を読んだ。 - Technically, technophobic.
・「R言語徹底解説」入門
- Qiita
・「R言語徹底解説」
・readr:
高速で柔軟なテーブル読み込みツール - Watal M. Iwasaki
・tidyr:
シンプルなデータ変形ツール - Watal M. Iwasaki
・dplyr:
高速data.frame処理 - Watal M. Iwasaki
・purrr:
apply系関数の究極形 - Watal M. Iwasaki
・大規模データの高速処理
ーdata.table、dplyrー
・Rのこれだけ覚えておけばいいdata.tableの使い方
- Qiita
・Rでデータの高速集計
{dplyr}の使い方まとめのまとめ – Data Science Forum
・dplyrを使いこなす！基礎編
- Qiita
・{purrr}
による非テーブルデータの処理 // Speaker Deck
・{purrr}
でリストデータを操作する <1> - StatsFragments
・{purrr}
でリストデータを操作する <2> - StatsFragments
・purrr
0.2.0を使ってみる - Technically, technophobic.
・Jungle
Java - R で Apache Drill を試してみた
・Jungle
Java - R でパイプ処理
（06/26 追記）
・applyファミリー
| apply,sapply,lapplyの使い方とその例
・【R】初心者向けapply関数の使い方
| 楽楽研究室
・apply
family | uri@web
（06/27 追記）
・dplyr
0.5.0を使ってみる - Technically, technophobic.
（06/28 追記）
・readr
0.0.0.9000を使ってみる - Technically, technophobic.
・表形式ファイルの読み込み関数あれこれ:
readrパッケージの導入を兼ねて - Qiita
・手を動かしながら学ぶモダンなデータ操作とtidyなデータ（2015年版）
- まだ厨二病
・政治学方法論
I - データの整理とAPIを利用したデータの取得
（07/13 追記）
・reshape2によるクロス集計（Excelピボットテーブルと同じ操作を行う）
・クロス集計～公式：dplyr
+ tidyr = (xtabs|(f)table) - My Life as a Mock Quant
・Rで解析：インタラクティブなピボットテーブル。「rpivotTable」パッケージ
・【R言語】「rpivotTable」パッケージが高機能過ぎて泣ける件
- Sapporo Marketing Blog / 札幌マーケティングブログ
PDI から Powershell を実行してみた
オープンソースのETLツール 「Pentaho Data Integration」 から 「PowerShell」 を実行してみました。
powershell -ExecutionPolicy RemoteSigned
-File C:\Users\barak_000\Desktop\test1.ps1
関連情報
・Shell
- Pentaho Data Integration - Pentaho Wiki
・Execute
a process - Pentaho Data Integration - Pentaho Wiki
・Jungle
Java - Pentaho Data Integration 関連情報メモ
・Jungle
Java - PDI で MongoDB に接続してみた
・Jungle
Java - PowerShell 関連情報メモ
・Jungle
Java - 『Windows PowerShellクックブック』
p.s.
「シェル（Shell）」 のアイコンは、「ジョブ（Job）」 作成時にのみデザイン画面に表示されます。「データ変換（Transformation）」
作成時には表示されません。
Entries (RSS)
