2017/5/1

富裕日本? 年收入所得未滿350萬佔去四成 (2) 使用 Tableau 作圖

如果還在評估是否導入 Tableau 的商業用戶或學校,可以先下載 Tableau Public 進行試用,相較於正式版可以匯入多重資料格式、資料庫,至少可匯入 CSV / EXCEL 進行視覺化的練習;

相較於昨天使用 PowerBI 進行雙軸繪圖,使用 Tableau 可以非常直覺快速完成。基本上的步驟如下:

 

 

 

然後到 比例、累積比例所在的維度中的右鍵選單中選取 「Dual Axis」即可,就可以將2個維度分別放在不同的Y軸上;如果要調整順序,只需要用滑鼠游標進行拖放即可完成

 

結果如下

 

 

有時候我們可以用不同的工具達到相同的結果。其實我們可以發現無論是 PowerBI 或是 Tableau 都有提供雙 Y 軸的功能。但無論如何預設的視覺化工具,還是會充滿許多限制。而在 R 中的 ggplot2 因為有圖層的概念,所以即使在同一張圖中,只要你願意,你可以把相同的資料用N種的視覺化方式合併疊加呈現。只是有時候,我們要反過來問,是不是會複雜的圖表真能提供給我們更多的資訊。在我們對於問題還沒有清楚掌握的狀況下,我建議先將視覺化作為探索性分析的工具,儘量使用 PowerBI 或是 Tableau 預設的圖表去加速問題發現流程。因為這2套軟體都可以很快速地讓圖表進行互動,等到我們確定問題後,進行更進一步的統計模型探討後,我們再考慮使用終極兵器 R 的 視覺化工具 ggplot2 .

 

我認為這才是真正實務上應用的手法,您認為呢?

2017/4/30

富裕日本? 年收入所得未滿350萬佔去四成

 

去聽了 RR 的演講,有提到日本這幾年面對的一些困境。例如這個例子:接近4成的人年收入是在300萬日圓以下。更不用去提日本目前在職場上對於女性的歧視,附帶一提在資料中也可以找到生完小孩子後復歸職場的比例,不過暫時不做這些進階的分析。

 

查了一下網路資料,平成27年是西元 2015年。這類的統計資料不太可能做到即時更新。

有興趣的人,可以到這裡下載 EXCEL 資料表:

http://www.mhlw.go.jp/toukei/saikin/hw/k-tyosa/k-tyosa14/

(附帶一提:其實台灣的 OPENDATA 算是做的不錯了)

 

總之先將重點放在總體的狀況吧,因為原始資料用了很多合併儲存格,而一般的軟體是無法判斷這些東西。我們依照 TIDY DATA 的理念,將資料整理如下:

 

 

然後放到 POWERBI 做圖,觀察其中幾個有趣的事項:

(1) X 軸其實為了方便閱讀,所以其實是文字格式;文字格式一般比起數字要進行排序,得要經過一些處理手法,但是遇到「50萬未滿」、「1000萬以上」很容易讓軟體判斷錯誤;最簡單的方式,直接用「累積比例」做為排序的參考值

(2) 要將2個比例畫在同一張圖表中,為了視覺上的清楚,一般建議使用2個 Y 軸進行顯示。所以要到 POWERBI 的「FORMAT」中將第2個Y軸給打開。

(3) 一般而言,折線圖適合運用在時間序列等狀況中,但因為這次分析的X軸經過我們處理後,愈往右邊的是高收入家庭,所以使用折線圖並沒有違反題意

(4) 下次有時間再來把這張圖與男女就業比例等圖表做成互動圖表,應該會很有趣

(5) 日本把50萬日幣做為資料區間(BIN),其實算是區隔的很細致了。台灣似乎目前沒有給到這麼細的資料?

 

2017/4/29

從 EXCEL 匯入 UTF8 CSV 變成亂碼? 使用 EXCEL 或 POWERBI 如何處理?

實務上,我們常常會轉存文字檔的編碼為 UTF8,因為這會有利於我們跨平台交換資料的便利性。再者有些企業經營的是國際市場,所以會有需要儲存日文、韓文、越南、泰文、各式歐洲語系的需求,如果只使用過往的台灣中文編碼 BIG5碼會有很多問題。

而很多人會為工作方便,常常會將 CSV 的檔案關聯直接設定為 EXCEL ,好處是直接在檔案總管點2下,檔案就直接會顯示在 EXCEL 上。但是如果你試著對於 UTF8 進行這樣的作業,你會發現如下的結果:「亂碼!!!!」

而且除了亂碼之外,其實你會發現有時候連資料筆數、資料欄位都整個錯亂;例如:你原先有50筆資料,但變成了48筆或是53筆資料。這可不是非同小可的錯誤啊,即使你只是想要求算總體營業額,也許不用知道細項的名目,但事已至此,你不動手處理這個問題也是不行。

 

圖示:直接點擊 UTF8 後的EXCEL 畫面

 

這時候就要借用 EXCEL 的「資料」→ 「從文字/CSV」功能;此功能會出現讓你選擇檔案編碼的選單:操作範例如下。這個功能在舊版的 EXCEL 中也有具備,可見 EXCEL 早就具備處理多國編碼的能力,但為什麼要藏在這麼隱密的地方呢? 這我就不知道啦。

而在新版的 EXCEL 2016中,其實整個介面都與 POWER QUERY 完全整併。所以你會發現後續看到的畫面與 POWERBI 中讀入 CSV 完全相同。

 

 

出現編碼選擇的畫面。原來系統一開始判讀編碼錯誤,誤認為這個編碼是 BIG5

 

將其選擇成正確的編碼型式(UTF8);附註一提,如果你需要處理日文編碼的話,一樣比照辦理,找到適合的日文編碼就可以正確讀檔。

OK,這下就完全正常。

資料正確匯入後,就可以進行下一步的分析。

 

這邊我直接筆述比較同樣讀入CSV在 EXCEL2016、POWREBI 的作業程序:

「資料」→「從文字/CSV」→「選擇編碼」 (POWER QUERY)

「GET DATA」→ 「TEXT/CSV」→「選擇編碼」

就可以發現2者的程序是非常近似的,只是一般使用者不易察覺到 EXCEL 的這項功能,導致常常有人問到為什麼在 EXCEL 中是亂碼。

 

而在實務或是教學中,我個人是偏好直接用 POWERBI 或是 Tableau 直接來進行檔案的匯入。大部份的情況下,這2套軟體都能直接對應到實際的編碼,有時連選單都不用再進行處理。

2017/4/28

Excel 與 PowerBI 協作的第一步

常有人問 Excel 匯入到 PowerBI 有什麼技巧?

會這樣問的人,可能是發現在實務中,因為大家工作繁忙,所以常常將 Excel 的用途給無限提升。有人直接用 Excel 當做週報格式、有人用來繪製課表、有人用來編寫個人收支計劃。是故常常有許多 Excel 的資料其實是不適合/無法匯入 PowerBI。

 

在此我們舉一個最簡單的範例,假如我們有以下的資料。在匯入 PowerBI 前我們先將其轉換為 Table 格式。如果能順利轉換成 Table 的格式,保證 100%可以匯入 PowerBI

 

 

將資料全選後( Ctrl + A) 在 Excel 的插入 → 表格 (Table)

轉變成如下表,藍白相間的格式。至此,打完收工。

 

 

轉換為 Table 格式後的資料有什麼特點呢? 或者需要什麼樣的前提?

( ROW : → , Column: ↓,因為行列的表示法,台灣與中國日本剛好翻譯相反,故我通常不用以避免 GOOGLE 資料時搞得自己混亂異常)

  1. 一組 ROW 就是一筆資料(例如:編號1的這一位,他就是畢業於土木系,年齡是23歲)
  2. 一組 Column 就是相同屬性的資料(例如:年齡這個欄位放的都是數字)
  3. Table 中間不能夾藏一組空白的資料(例如:原始資料中,你如果把第5筆資料給完整刪掉,將轉換成 Table時只會有前面4筆資料)
  4. 一定要有欄位名稱(例:「年齡」這個位於C1 欄位變數名稱一定要有,因為這關於後續匯入 PowerBI 的作業
  5. 儲存格可以有空白(例:如果編號14尚未提供年齡資訊,該儲存格為空白是可以接受的)
  6. 千萬不可以在要轉成 Table 的資料中有合併儲存格!!!

 

其實 Table 的概念是從資料庫中借過來的,如果有使用過資料庫軟體的經驗,就會發現 Table 非常類似資料庫中的資料表(Table);此處台灣微軟將其翻譯為表格(Table)可能是為了讓使用者不感到害怕,但缺點就是其實很多進階的使用者會將其與一般的表格給搞混。

再者最近在 R 中揭起了 Tidy Data 的風潮,而 Excel 中的 Table 基本上也符合 Tidy Data 的要求;Tidy Data 指的是什麼呢?

 

  1. Each variable forms a column.
  2. Each observation forms a row.
  3. Each type of observational unit forms a table.

有沒有與 Excel Table 的要求很接近呢?

 

當你在 Excel 後設定好 Table 後,其實對於你資料分析相關的作業都會變得非常方便。例如:排序、製作樞紐分析圖表…等等。

2017/4/27

資料視覺化的工具的選擇

在學習資料視覺化的過程中,有很多工具可以供我們做選擇,以下這篇文章 ( What I Learned Recreating One Chart Using 24 Tools) 提供了作者詳細比較各種軟體、程式語言的優勢與劣勢。

 

圖形引用來源:

What I Learned Recreating One Chart Using 24 Tools

https://source.opennews.org/articles/what-i-learned-recreating-one-chart-using-24-tools/

 

作者用了2個維度 學習成本、繪圖彈性來做各式軟體的分類。舉例來說,我們都知道 D3 非常的強大,但是的確難以學習,對於初學者若不具備撰寫前端的經驗,可能在開發環境的設定就是第一道關卡,然後還有對於基本的 JS 語言有一定的認識;而眾所皆知,應該是世界上最多人使用的視覺化工具 EXCEL,則非常易學,但是可以做到客製化的項目就不多。如果對於 EXCEL 圖形有過較深入研究的人就知道,EXCEL 要做到很多圖形,需要使用非常奇淫巧技的技術,諸如在一般程式語言可以一行指令就得到的「直方圖」,在EXCEL 2017前的版本,一樣能繪製出來,只是要經過很多道程序 …

我個人其實蠻建議資料視覺化的初學者,可以去下載 Tableau Public 來學習資料視覺化。因為 Tableau 應該是我看過在使用介面上,最具備直覺化的軟體。當然這與 Tableau 面世時的時間點也有關係,Tableau 因為是新的軟體,所以很多開發理念都針對近期的資料需求進行簡化。當然這些資料化軟體基本上,都不具備太深入的統計分析功能,要在 Tableau 進行諸如 SVM、進階的 Text Mining 都不是件簡單的事。但就算是在 R 這類專門的統計軟體中,視覺化也應該被視為是一種獨立的作業程序。

 

而在這其中,怎麼沒有見到 PowerBI 呢? 我想這是因為 PowerBI 一開始的野心太大,但操作介面真的不是那麼直覺,所以 PowerBI 的潛力被作者給忽略。

其實 PowerBI 的彈性非常強大,如果你只是個一般的使用者,在經過一定時間的練習後,我相信可以在此2維平面得到接近 Tableau 的結果。而因為 PowerBI 提供與 R 介接的方式,所以當你對於 R 有一定的瞭解,只要能夠瞭解資料流程中的限制,你就有機會往下一步移動。而如果你想要自訂自己的資料視覺化效果,還可以利用 D3 的語法(或是 R)來開發,將你個人的開發成果拓展至整個公司。

 

 

當然,我認為學習任何東西都要考慮效率。而效率的計算,不外乎是投入與投出之間的取捨。今天如果身處在一個中小企業或是新創體系,我認為將 PowerBI 妥善與 R 進行整合就能解掉近乎 95%的問題;而如果公司是國際級的大公司,努力開放了一個月的視覺化套件,可以供應給各地的子公司,那也是美事一件。

 

結論,我個人較建議的視覺化工具(排名不分先後):

(1)R + ggplot2

(2)Excel

(3)Tableau

(4)PowerBI Desktop

(5)R + Plotly

這系列的文章將先以 PowerBI 做個簡單的介紹,後續有機會再為大家介紹其他的好用的視覺化工具

2017/4/26

PowerBI 各種版本的差異?

發現有蠻多人不太了解版本之間的差異,如果直接上官網的話,初學者大概也搞不懂主要的差異在何處。在此簡單的說明一下。

PowerBI 的家族:

(1)PowreBI Service(SASS)

微軟提供的網路服務,讓你可以隨時存取你製作好的報表,不再受限於單機。但此服務需要以公司、組織、學校、法人的 email 進行註冊,一般的免費信箱像是 Gmail、msn、yahoo Email 是無法註冊的;而此服務還分成:

A - 免費使用

B - 付費使用

主要差別在於付費使用,可以擁有更多公司團隊合作上的優勢,而在更新的頻率上也較實際需求,當然能夠儲存的空間一定更高;然而我們在學習的過程中,建議還是先將以下介紹的單機版給熟練後,再考慮工作流程是否適合導入 PowerBI Service

以下是由微軟官網所捉取的資料:

(2) Windows Software(單機使用)

   A – Excel : PowerQuery + PowerPivot + PowerView

若公司內大量使用Excel進行報表開發,但現實又不允許直接導入 PowerBI ,可以優先考慮此項解決方案。

   B – PowerBI Desktop: (建議優先學習此版本)無需安裝 Excel ,就可以得到上述所有功能,而且與 PowerBI Service 的整合更強。

在技術上,微軟已經將 PowerView 所繪製的圖形以最新的網頁技術進行處理。使用者無需去學習複雜的 D3.js ,在 PowerBI Desktop 進行相關的報表編製後,一鍵上傳到 PowerBI Service 就可以得到預期的結果。

其實在微軟所規劃的策略藍圖中,PowerBI 還能與 SQL Server 做更密切的互動。但考量到許多的中小企業的資料庫主要仍以 MySQL、Postgresql 為主,故本網誌將不會對此著墨太多。

2017/4/25

PowerBI 的基本作業流程

由於 PowerBI 是由Ecxcel BI 套件所衍生而後進行整合的軟體,所以初學者在第一次接觸 PowerBI 總會有不得其門而入的感覺。現在我將主要的流程整理如下:

PowerQuery 原先是在 Excel 中的外掛,主要負責的就是資料的匯入與初步的資料整理。例如:如果是單純的 HTML 表格,使用 PowerQuery 就可以直接進行捉取。若是複雜的 ajax 網頁,則使用者還是得透過其他程式語言進行處理,再將處理完後的資料整理後再匯入至 PowerBI中。又或者是各種各樣的資料庫系統(例:MySQL、Oracle、SQL Server…) 甚至就連 No SQL 都可以順利連接。當然最基本的文件檔(CSV)或是EXCEL檔都是沒有問題。

而在實際作業狀況中,我們常常不會只匯入一筆資料,我們可能同時匯入了客戶清單、客戶消費品項、歷年銷售紀錄等資料,所以我們還需要對資料進行更進一步的處理。在過去我們可以使用 EXCEL 的 vlookup 進行以上的處理,但常常會發現在資料筆數更大時,就會面臨效能低落的冏境… 而此時 PowerPivot 就可以解決這個問題。若是熟悉SQL開發工具使用者,一定會對於PowerBI 提供的工具相當熟悉,因為可以視覺化的進行 Join 等作業。而這就是 PowerPivot 主要的作用。

而在上述資料處理作業都完成後,就能順利進行資料視覺化的作業;這視覺化的本質,在過往的 Excel 套件名詞就叫做 Power View。

其實這是相當直覺的作業流程:首先我們取得資料,進行初步的整理,而在取得多筆資料後,我需要再將資料再整行一次整理,整理完後就可以畫圖。

先使用 GUI 的工具將上述的流程完整跑過一次,後續再要進階時,就可以研究 M 、R Script、DAX 這些程式語言針對上述的作業提供了更細緻的控制。例如 M 語言可以使用參數,如此一來讓使用者就可以輸入任意筆地址然後得到回傳的經緯度。(合理使用下,一般人很難超過 Google Geo API  的使用限制)

2016/2/23

在 R 中繪製地圖視覺化 leaflet:臺灣地區液化潛能製圖

在 R 中繪製地圖視覺化 leaflet:臺灣地區液化潛能製圖

今年春節前夕,發生了台南的大地震也讓人正視到台灣位於斷層帶的現實;

以下介紹,如何繪製 臺灣地區液化潛能製圖

首先你要有資料! 資料可以由網路上取得論文 本資料採用的是謝昇航 (2011)的論文 臺灣地區液化潛能製圖 下載位址: http://ir.lib.ncu.edu.tw:88/thesis/view_etd.asp?URN=976204004)

在附錄部份,作者提供了完整的資料表格;

一開始我使用的方式是:複製資料到 excel 後,錄製一段簡單的 VBA 將資料整理成一般資料表型式的 csv。後續有人提供可以用另外一套解決方案:tabula,可以直接捉取 pdf 資料輸出成 csv 格式,亦可以達成相同目的。

因為預設座標系統格式是 TWD97 格式,所以請專人協助後轉換為一般經緯度格式(即 EPSG 4326)。

對於資料有興趣的人,請直接整理好後的原始資料 https://drive.google.com/file/d/0B4523k7TnHsoRXYtNUcxUGh0T2s/view?usp=sharing

接下來就是正題了,若要繪製地圖 首先你要安裝 leaflet 套件,另外建議可以搭搭 dplyr 可以讓語法更為簡潔精練 然後試試以下的語法

leaflet( ) %>% addTiles( )

此時若你是使用 Rstudio 做為 IDE 工具,應該發現已經出現世界地圖了; 接下來我們要做的事情就是將我們的資料置入於地圖中

此時我們可以把我們的資料讀進來 例如:(實際路徑請自己依情況調整) dfmap <- read.delim("SheetR_MAP.csv",stringsAsFactors=FALSE)

然後把剛剛的語法調整如下: leaflet(df_map ) %>% addTiles( )

此時什麼事情都沒有發生,因為我們還是沒有告訴 leaflet 要如何繪製圖形 好歹,我們要告訴 leaflet 各點位的經緯度吧?

m <- leaflet(df_map ) %>% addTiles( )

最基本的語法如下: m %>% addCircleMarkers( lat = ~ Lat , lng = ~ Lon ) 此時就可以將所有探測點給標示出來:

P1

當然,我們感興趣的重點不會是探測點的位置,而是實際液化狀況為何? 因為資料量高達3000多點,若直接標示數值會顯得非常沒有意義; 此時可以依據論文作者所提示的數值間距,進行群組分類:

PL範圍: PL > 15 高度液化潛能

5<PL ≦15 中度液化潛能

0<PL ≦5輕度液化潛能

PL=0液化潛能極低

定義資料(顏色)群組:

pal <- colorBin(palette=c(green,pink,red,purple),domain=df_map$Pl,bins=c(0,5,10,15,70),pretty=TRUE,na.color=#808080,alpha=F)

備註:於資料整理階段時已知最高值不會高於70

所以再將程式碼修改為:

m %>%
addCircleMarkers( lat = ~ Lat , lng = ~ Lon ,color=~pal(Pl) ) 地圖上就會變成花花綠綠

最後,因為想要透過網路與網友們分享,我再加入了一些互動的功能 例如:游標指向的點會出現資料數值、可以針對區域做選擇

最終版本的視覺化結果如下: P2

程式碼提供如下:

可以發現若扣掉說明文字,整個具備基礎互動功能的地圖視覺化用了不到30行的程式碼… leaflet 的確在地圖視覺化解決方案上有蠻高的競爭優勢!

2016/1/9

Vagrant 1.81版新增 box 異常,抽換 curl.exe 即可解決

Vagrant 1.81版新增 box 異常

例如:下載 ubuntu 14 with docker 的指令應該如下

vagrant box add ubuntu14_docker https://github.com/jose-lpa/packer-ubuntu_14.04/releases/download/v2.0/ubuntu-14.04.box

會吐出錯誤訊息,查詢後發現應該是 curl 異常的關係

我到這個網站 http://winampplugins.co.uk/curl/
因為我是 win10 所以下載這個 curl 7.46.0 - 64-bit (Windows Vista and newer)

下載後,將 curl.exe 置換原本在 c:\HashiCorp\Vagrant\embedded\bin\ 目錄底下的curl.exe

OK ! 打完收工 … 可以繼續開發工作囉

2016/1/4

PC 上搭建 Linux系統可簡化許多情境

思路:
  • 硬體不值錢,DRAM很便宜,新購置的PC直接裝到 32GB - 64GB 並不算高價
    • 反過來說,如果你的電腦是10年前的,然後記憶體只有2GB ...那就無法使用此法
  • Windows 上的 Docker 很難用,我已經太多次使用到暴走的經驗了
  • 有些在 mac / windows 跑得好好的程式,在windows上就是會吐出錯誤訊息
    • 例如:utf8純文字處理在windows上真的很麻煩,我寧願先在linux處理完後,轉存在xml/xlxs後再由接下處理
應用情境:
  • 在 windows 上使用 R 的朋友往往會遇到編碼處理的問題,我建議直接在Windows上搭建 VM Ubuntu 然後使用Docker上的 Rstudio Server,使用起來與桌面版的Rstudio完全沒有什麼差異… 要進行網路爬蟲大量資料捉取時也很方便
  • Windwos上的Python總是出現出一些奇怪的錯誤?
  • 公司的電腦只適合做公司事務,自我提升的進修學習是不適合使用公司資源進行,仍然有自建計算資源的需求;
前提要件:
  • 在 PC 的 Windows 上安裝vagrant 與 virtual box
  • Windwos 上的終端機可選這一套mobaxterm ,可儲存ssh登入的帳號與密碼很方便 http://mobaxterm.mobatek.net/
  • 設定 Windwos -- VM 共享資料夾
  • 在 VM 上使用Docker
細節:
  • vagrant 簡化 Linux 安裝過程,各式linux可快速建置;請參考 http://www.vagrantbox.es/
    • 只要以下3個指令就搞定囉
      • vagrant box add 自定義名稱 映象檔來源網址
      • vagrant init 自定義名稱
      • vagrant up
      • 建好後的 VM 預設的帳號與密碼 vagrant / vagrant
  • 在 VM 上再使用 Docker,若有使用 Port 記得將Virtual Box的Port也要打開
  • 資料夾共享設定:
    • 在Windows的 VirtualBox GUI設定資料夾,可將「自動掛載」、「設為永久」都勾選
      • 例如:分享了一個windows上的資料夾名稱叫做 wiki
    • VM Linux 設定:
      • 登入終端機後執行 sudo mount -t vboxsf wiki /home/vagrant/wiki
提醒:
  • 執行一些作業時間較久的作業時,請將 VM 記憶體調高
  • 能用錢解決的事情真的是小事… 請把節省下來的時間拿去學習更有價值的東西吧

2016/1/2

tensorflow 初學者筆記

身為一個 deep learning 的初學者所做的一些筆記。

建議可由 Google Brain 邱中鎮博士的投影片入門

http://www.slideshare.net/tw_dsconf/tensorflow-tutorial 這份投影片中最由價值的部份,是其對於 tensorflow 編寫的順序做了詳細的介紹; 這是你在官網中沒有辦法找到的詳細資料…

相對於傳統的統計學手法,例如:迴歸模型。 我們常常可以將資料與模型直接綁在一起;
例如:在R中要計算一個簡單的迴歸模型。

x <- rnorm(100)
y <- rnorm(100)
lm(y~x)

幾行就解決了,但是如果同樣的東西用 tensorflow 來處理的話: 可以參考這篇: https://github.com/yamitzky/tensorflow-practice/blob/master/Linear%20Regression%20by%20TensorFlow.ipynb
行數似乎增加了不少??
結合了邱博士的說明,我簡單將 tensorflow , 可以拆解為2個概念
  • 模型定義(modeling):抽象化,此階段完全是紙上談兵
    • 輸入項、輸出項的定義(tensorflow的術語叫:placehold)
    • 模型建構(隱藏層)
      • 定義 Variable (例:權重、誤差項)
      • 定義網路 (例:y = W*X+b)
    • 定義Loss函數
    • 最佳化:讓Loss函數最小化(Tensorflow 內建 Gradient Desecnt 等,可直接叫用)

  • 執行(session階段):戰爭期:計算資源投入(CPU/GPU)、實際資料投入
    • 要跑幾次去達成最佳化(Iterative Update)
    • 訓練資料讀入( feed)
讓模型定義更加抽象與獨立,是為了後續如果要建立不同模型時(例:3層模型變成30層)、定義不同的Loss函數、使用不同最佳化手法時,可以與原始資料完全隔離,不會受到影響
另外
參考連結:
地雷區:
  • tensorflow 目前對 python3 支援還不夠,例如圖示化的工具會有問題,請愛用python2進行學習

  • tensorflow 也提供了圖示化的方式,不過不建議初學者花太多時間在此;這個功能比較適合對於模型有完整瞭解後,要強化的情形;一般初學者,應該是先設定好自己的目標(想做的事),去找適合的模型(例:不要太多層的)、適合的資料、適合的LOSS函數、適合的最佳化手法,然後行有餘力把用到的數學都k一遍後,再去看圖示化的工具吧…

  • 日本網友測試如果在windows系統用docker搭建tensorflow, 只要遇上較大的資料集,就必定當機 … 想要學習的話,建議還是搭建個VM 或直接使用 Linux系統

2015/11/9

R 套件異常時如何重新安裝


最近碰到一個奇怪的問題,使用 ggfortify 套件,想要將迴歸的圖形利用 autoplot 輸出發生了問題,顯示 “no layers in plot”


程式碼:
library( ggfortify)
autoplot (lm(Sepal.Length ~ Sepal.Width , data = iris))

異常訊息:
“no layers in plot”
但如果是要繪裂 pca 等統計圖形則正常 …


分別用以下2種方式重新安裝套件都無法解決

(1)
install.packages('ggfortify')
會顯示警告訊息:
Warning in install.packages :
  package ‘ggfortify’ is not available (for R version 3.2.2)


(2)
library(devtools)
install_github('sinhrks/ggfortify')
能安裝,但依舊無解


上網查到的解法如下:

install.packages('ggfortify', dependencies=TRUE, repos='http://cran.rstudio.com/')

另外也利用 Rstudio 檢查了久未更新的其他套件,將其一併更新…
終於可以正常執行 autoplot 指令

參考網址:
http://stackoverflow.com/questions/25721884/how-should-i-deal-with-package-xxx-is-not-available-for-r-version-x-y-z-wa


2015/10/30

Windows系統讀取包含日文、韓文的UTF8 文件 [R]

眾所皆知,w indows系統在處理編碼上是非常弱勢的;

相對於 linux 與 mac 在讀寫各式不同編碼的純文件時,只需要指定好 encoding 的內容就可以正常讀取;目前經過我交叉測試,在windows中如果UTF8文件中包含了日文、韓文的UTF8文件還是無法正確讀取…

將問題與解法整理成如下2張圖:
123
456
可依情境加以使用不同解決方案,這2種方式都可以正確讀取含有日文、韓文等文字的UTF8文件…若使用原始系統搭載的 read.csv() 則執行指令時會報錯!!

備註:

(1)readxl套件,請參考:
http://www.r-bloggers.com/get-data-out-of-excel-and-into-r-with-readxl/

(2)readr套件,請參考:
http://www.r-bloggers.com/readr-0-2-0/

readr還含許多方便的機能,例如猜文件編碼的函數
guess_encoding(文件名稱), 非常實用!!!

2015/10/29

igrpah 的學習資源整理

igrpah 是一個在 R 與 Python 的套件,能處理 Social network Analysis

Social network Analysis 能應用的方向還蠻多的,不過如果直接看 Rblogger 上面的文章,我總是覺得有點複雜… 雖然實務上取得資料的確就是要下那麼多苦工…

日本生科學者介紹 igraph 基本功能

先看這一篇日本生科學者,簡單的介紹了fb網路如何被匯進R → 製圖 → 分群 → 計算相關指標 http://rpubs.com/kaz_yos/igraph1
再參考這篇他教學官網上的這篇(日文,但看程式碼就知道邏輯) https://sites.google.com/site/kztakemoto/r-seminar-on-igraph---supplementary-information

網路群組分組

http://qiita.com/hmj-kd/items/3f2b45b32bc3a8204141
http://codeiq.hatenablog.com/entry/2013/06/25/182324

日文書籤網站 igraph

http://doubt-ooo.appspot.com/feed?q=igraph
http://b.hatena.ne.jp/Keiku/igraph/

TokyoR 聚會的簡報

http://www.slideshare.net/kztakemoto/r-seminar-on-igraph

stanford 提供很多 social network analysis 的範例檔

http://snap.stanford.edu/data/egonets-Facebook.html
備註: 日本人使用 Cytoscape 來繪製網路圖形的比例還蠻高的…

2015/10/27

用 Docker 協助學習Social Network Analysis

用 Docker 協助學習Social Network Analysis

這次遇到的狀況是用了最新的 R jupyter / Rstudio(R/win) 無法安裝igrpah 套件(??!!),所以只能先找目前網路上已經包裝好的 RStudio Server + igraph

下載Docker images(docker pull)

先在google透過關鍵字尋找有沒有被人家包裝好的docker iamges,發現有一個: 我的狀況是透過 VirtualBox 中的 Ubuntu 14執行以下指令 sudo docker pull zachcp/phylogeo

執行d ocker images

簡單執行 sudo docker run -d -p 8787:8787 zachcp/phylogeo 預設的帳密 username: rstudio password: rstudio

調整桌機 Virtual Box 網路設定

因為我們想要Browser來操作 Rstudio Server版本,又因為VM是在Virtual Box中執行,所以我們要設定轉port;在很多的情境下,都會建議主機ip設定為 127.0.0.1;但此處我直接把ip留空白,因為後續我會在區網利用另一台Mac筆電進行連線,如果此處你設定了 127.0.0.1 則只有本機有機會連線 IP2

利用Mac連線PC桌機的Rstudio Server

在筆電的 Chrome 輸入 http://192 .168.1.117:8787

下載 Github 上的資料

利用 Rstudio 的 Shell, 輸入: git clone https://github.com/johnmyleswhite/ML_for_Hackers 就可以把資料下載回Rstuio Server

Rstudio Server 上下傳資料

下載資料: 在 Files 視窗介面下 -- More -- export 即可把Server上的資料下載回筆電
上傳資料: 在 Files 視窗介面下已預設有 Upload 按鈕

保存 Docker images

有時候因為學習需要又下載了新的套件,不想要下次docker run時還要重新安裝一次則可以進行保存
sudo docker commit d9ae87d0828a zachcp/phylogeo:v2 
其中 d9ae87d0828a 是可以透過 docker ps 查詢到的容器id
不過若是在隨身碟上執行此一指令需時較久,建議還是將過程中的檔案直接下載到本機備份較快

2015/10/14

Windows 處理UTF8 CSV就是悲劇… Excel與R搭配時的解法…

Excel處理CSV UTF8 編碼就是悲劇!!!!

    • excel 2016在英文版介面下,匯入文字檔(csv、txt)無法選擇UTF8編碼,只有2種編碼ansi、mac可選
    • excel 2016在中文版介面下,匯入文字檔(csv、txt),可選擇UTF8編碼及其他世界各國文字編碼
    • 總之微軟放棄不是很想認真處理 UTF8 CSV的問題…

    利用Excel協助Data Clean :

    • 不要讓excel直接處理csv UTF8格式
      • 正常讀取utf的文字編輯軟體打開uft8文件
      • 於文字編輯軟體中全選文字→複製貼上至excel→excel中進行資料剖析(這樣比由匯入文字檔還快…)
    • Data Clean成功後,直接轉存成xlsx

  • 被excel存檔過後的csv會自動變成BIG5編碼 → 避免夜長夢多,請不要這樣做
  • excel要存檔成UTF8,有UTF8文字檔的 → 超難用!!!!
  • PowerBI 也無法處理 UTF8 csv → 存成預設為UTF8的 xlsx 保證沒問題

  • 與R搭配時,不想管編碼問題直接用excel存成xlsx、xls:

    • 避免處理編碼的問題時,直接把csv改存成xlsx或xls格式
    • 安裝套件 install.packages(readxl) # 此套件可讀入單頁sheet
      • xlsx格式: 使用xml進行資料儲存,預設已是UTF8編碼;可將副標名改為zip後,解壓縮即可驗證
      • xls格式: 編碼套件 readxl 會幫忙轉成uft8
      • 所以 read_excel 指令中沒有指定編碼的選項!!!
    • 讀入資料,記住如果xlsx、xls內有多張sheet要指定sheet,否則只能讀入一個sheet
      • 例: read_excel(/Users/xxx/Downloads/WeareJordan.xls,sheet=3)
      • 別忘了在 windows 底下目錄名稱要用2個\指定
        • 例: read_excel(c:\Users\zzz\Desktop\CHINA.xls )
    • 在mac底下,讀入的檔名不可以是數字開頭的檔名,例如: 444_js.xls 要改成變數命名規則 js.xls ;winodws則無此限制,但為了未來跨平台,請直接以英文做為檔名開頭
    • 在windows底下,檢視匯入的資料時,若非big5編碼內的文字會以uft8的編碼型式顯示;而在mac則無此問題

    長治久安之道,資料量小時請存成xlsx,資料量多時請用資料庫管理…

    • 資料量少的時候而且資料有大量與Excel協作機會時,可以考慮直接將資料亦寫成 xlsx 輸出
      • 安裝套件 install.packages(openxlsx)
      • 使用資料 write.xlsx() 寫檔至 xlsx
    • 隨著資料愈來愈多,可以考慮存成直接支援uft8的資料庫系統;例如:sqlite可跨平台使用,且支援UTF8openxlsx
      • Excel亦支援各式資料庫直接進行連結

    windows10 kitematic(docker gui)掛載windows目錄

    windows10 kitematic(docker gui)掛載windows目錄

    kitematic 提供了GUI介面,以利 docker 的安裝與操作;
    在官網下載安裝後,一直按下下一步就可以安裝完成;實際上是透過virtual box的方式來達成docker環境的架設。

    步驟

    • 在docker hub蒐尋 jupyter/datascience-notebook 進行安裝,裝好後即running
    • 在 kitematic 介面中尋找 Volumes 進行設定,可以發現無法進行設定
    • 執行 Docker Quickstart Terminal
    • 輸入 docker ps ,確認一下目前執行的 jupyter/datascience-notebook ID
    • 先將jupyter/datascience-notebook給停掉:docker stop 輸入id
    • 手動執行以下指令,重點在於 -v 指令,本機直接用 /host 代稱
      • docker run -d -p 8888:8888 -e GRANT_SUDO=yes -v /host:/home/jovyan/work jupyter/datascience-notebook
      • 原本 ubutnu 底下可以直接指定目錄,但是windows目錄是無法直接掛載
    • 回到kitematic 介面中,可以發現會自動命名一個新的容器名稱,且此時可以用GUI方式指定windows目錄…

    備註

    • 目前kitematic在windows底下的使用,其實不會比直接在vm ubuntu直覺太多,進階指令還是要回到 Docker Quickstart Terminal執行
    • kitematic 介面中預設搭配的shell是 powershell,嗯… 非常難用
    • 沒有在mac上測試過,我猜mac應該不用這麼麻煩…

    2015/10/8

    Python 環境切換與管理[簡易版]

    Python 環境切換與管理[簡易版]

    Python 目前比較麻煩的是有 Python 2 / Python 3 的版本,然後 Mac 也有自帶的Python, 初學者往往在一開始時容易困擾…
    例如:pip install 套件後,到底是安裝到那一個 python 環境呢? pip3 ?? pip ??

    解決方式:

    • (1)使用 Pyenv 完全隔開不同的 Python
      • 例如:隔開之後再安裝不同版本的 Anacnoda(預設安裝很多的python套件)
      • 因為是完全分開的,所以依據你所使用的環境進行 pip install 套件安裝,不會與原先系統預設的python環境對衝
      • Anacnoda 官網介紹說 Anacnoda 已經具備有套件與環境管理機能,但依照我自己的使用經驗,建議還是先裝 pyenv 來把環境完全切割比較好…

    • (2)使用 Docker image
      • 例如:我目前使用這組 Docker image; https://hub.docker.com/r/jupyter/datascience-notebook/
      • 好處是已經有了 python 2、python 3、R 的Jupyter 
      • Python 套件安裝
        • 此 Docker 預設的Python環境是 Python3 ,所以如果是 pip install 套件,則會安裝套件至 Python3
      • 若要安裝 Python2套件呢?
        • 首先要知道 docker 中有多少python環境
        • conda env list → 可得知安裝 python2 的環境叫 python2
        • 選擇 python2 環境: source activate python2
        • 再次使用 conda env list 確認目前的環境
        • 使用 pip install 套件。例如: pip install beautifulsoup4
        • 安裝後新的套件後(安裝至 python2中),記得下 docker commit 指令把容器的狀態給存起來
    • 備註
      • 因為 docker 本來就是虛擬化工具,docker中發生了什麼事情對於主系統都不會有什麼影響,所以docker中就沒有必要再安裝 pyenv;當然這是用空間(SSD/HD)來換取煩雜的設定時間損失。

    備註:

    conda常用指令:
    • (1)目前作用中的環境安裝了多少python套件 conda list ;
    也支援這樣的語法 conda list baut* ,則列出:
    beautifulsoup4 4.4.1
    • (2)切換環境
    source activate python2
    • (3)目前有那些python環境
    conda evn list
    參考資料: http://conda.pydata.org/docs/_downloads/conda-pip-virtualenv-translator.html

    2015/10/7

    RCurl 設定 SSL 驗證 [R]


    例如:

    library(RCurl)
    getURL("https://www.python.org"  )

    會得到
    * Error in function (type, msg, asError = TRUE) : error setting certificate verify locations:
      CAfile: /etc/pki/tls/certs/ca-bundle.crt
      CApath: none

    調整為:

    library(RCurl)
    getURL("https://www.python.org" ,   ssl.verifypeer = FALSE)

    則可取回 Html 文件

    2015/10/3

    Power BI 利用 ODBC 連接 sqlite

    Power BI 利用 ODBC 連接 sqlite
    • Power BI 是微軟力推的商業智慧軟體,目前強調在與 excel 高度的整合性;所以被微軟內部視為重要的戰略武器,幾乎每個月都有更新功能… 目前使用限定在 windows 平台,但可以用私人網域郵件申請帳號,就可以將 Power BI的內容以 HTML5 網頁方式呈現
    • 但是…
    • 其實實務上在資料蒐集的階段,目前 windows 平台不是一個好選擇… 往往我們是在 linux 的 docker 環境中將資料以最簡單的 sqlite 方式予以儲存
    • 所以將sqlite的檔案移轉至 windows 平台後利用 ODBC 方式取存是最簡單的

    step:

    備註 :

    • 如果你有用過 Excel 舊版中連接資料庫中取得 ODBC 或是 SQL SERVER 就會被目前 Power BI 純工程師介面給嚇到… 突然要你輸入一長串的連線字串,完全沒有提示… 還好 google 找得到
    • 如果不用 ODBC, 使用將 sqlite 匯出成 csv 後 → 匯入 Power BI,會有utf8處理中文的問題…
      • 目前 Power BI 似乎暫無解決 utf8 csv 的手段
      • Excel也有一樣的問題,但可用匯入文字檔的方式才能解決
      • sqlite → 轉存 csv → 轉存成 excel 就能解決,但有點複雜

    總之利用 ODBC 方式算是 windows 底下處理 sqlite 最簡單的方式!