從 EXCEL 匯入 UTF8 CSV 變成亂碼? 使用 EXCEL 或 POWERBI 如何處理?

實務上，我們常常會轉存文字檔的編碼為 UTF8，因為這會有利於我們跨平台交換資料的便利性。再者有些企業經營的是國際市場，所以會有需要儲存日文、韓文、越南、泰文、各式歐洲語系的需求，如果只使用過往的台灣中文編碼 BIG5碼會有很多問題。

而很多人會為工作方便，常常會將 CSV 的檔案關聯直接設定為 EXCEL ，好處是直接在檔案總管點2下，檔案就直接會顯示在 EXCEL 上。但是如果你試著對於 UTF8 進行這樣的作業，你會發現如下的結果：「亂碼!!!!」

而且除了亂碼之外，其實你會發現有時候連資料筆數、資料欄位都整個錯亂；例如：你原先有50筆資料，但變成了48筆或是53筆資料。這可不是非同小可的錯誤啊，即使你只是想要求算總體營業額，也許不用知道細項的名目，但事已至此，你不動手處理這個問題也是不行。

 

圖示：直接點擊 UTF8 後的EXCEL 畫面

 

這時候就要借用 EXCEL 的「資料」→ 「從文字/CSV」功能；此功能會出現讓你選擇檔案編碼的選單：操作範例如下。這個功能在舊版的 EXCEL 中也有具備，可見 EXCEL 早就具備處理多國編碼的能力，但為什麼要藏在這麼隱密的地方呢? 這我就不知道啦。

而在新版的 EXCEL 2016中，其實整個介面都與 POWER QUERY 完全整併。所以你會發現後續看到的畫面與 POWERBI 中讀入 CSV 完全相同。

 

 

出現編碼選擇的畫面。原來系統一開始判讀編碼錯誤，誤認為這個編碼是 BIG5

 

將其選擇成正確的編碼型式(UTF8)；附註一提，如果你需要處理日文編碼的話，一樣比照辦理，找到適合的日文編碼就可以正確讀檔。

OK，這下就完全正常。

資料正確匯入後，就可以進行下一步的分析。

 

這邊我直接筆述比較同樣讀入CSV在 EXCEL2016、POWREBI 的作業程序：

「資料」→「從文字/CSV」→「選擇編碼」 (POWER QUERY)

「GET DATA」→ 「TEXT/CSV」→「選擇編碼」

就可以發現2者的程序是非常近似的，只是一般使用者不易察覺到 EXCEL 的這項功能，導致常常有人問到為什麼在 EXCEL 中是亂碼。

 

而在實務或是教學中，我個人是偏好直接用 POWERBI 或是 Tableau 直接來進行檔案的匯入。大部份的情況下，這2套軟體都能直接對應到實際的編碼，有時連選單都不用再進行處理。

PowerBI 各種版本的差異?

發現有蠻多人不太了解版本之間的差異，如果直接上官網的話，初學者大概也搞不懂主要的差異在何處。在此簡單的說明一下。

PowerBI 的家族：

(1)PowreBI Service(SASS)

微軟提供的網路服務，讓你可以隨時存取你製作好的報表，不再受限於單機。但此服務需要以公司、組織、學校、法人的 email 進行註冊，一般的免費信箱像是 Gmail、msn、yahoo Email 是無法註冊的；而此服務還分成：

A - 免費使用

B - 付費使用

主要差別在於付費使用，可以擁有更多公司團隊合作上的優勢，而在更新的頻率上也較實際需求，當然能夠儲存的空間一定更高；然而我們在學習的過程中，建議還是先將以下介紹的單機版給熟練後，再考慮工作流程是否適合導入 PowerBI Service

以下是由微軟官網所捉取的資料：

(2) Windows Software(單機使用)

   A – Excel : PowerQuery + PowerPivot + PowerView

若公司內大量使用Excel進行報表開發，但現實又不允許直接導入 PowerBI ，可以優先考慮此項解決方案。

   B – PowerBI Desktop: (建議優先學習此版本)無需安裝 Excel ，就可以得到上述所有功能，而且與 PowerBI Service 的整合更強。

在技術上，微軟已經將 PowerView 所繪製的圖形以最新的網頁技術進行處理。使用者無需去學習複雜的 D3.js ，在 PowerBI Desktop 進行相關的報表編製後，一鍵上傳到 PowerBI Service 就可以得到預期的結果。

其實在微軟所規劃的策略藍圖中，PowerBI 還能與 SQL Server 做更密切的互動。但考量到許多的中小企業的資料庫主要仍以 MySQL、Postgresql 為主，故本網誌將不會對此著墨太多。

PowerBI 的基本作業流程

由於 PowerBI 是由Ecxcel BI 套件所衍生而後進行整合的軟體，所以初學者在第一次接觸 PowerBI 總會有不得其門而入的感覺。現在我將主要的流程整理如下：

PowerQuery 原先是在 Excel 中的外掛，主要負責的就是資料的匯入與初步的資料整理。例如：如果是單純的 HTML 表格，使用 PowerQuery 就可以直接進行捉取。若是複雜的 ajax 網頁，則使用者還是得透過其他程式語言進行處理，再將處理完後的資料整理後再匯入至 PowerBI中。又或者是各種各樣的資料庫系統(例：MySQL、Oracle、SQL Server…) 甚至就連 No SQL 都可以順利連接。當然最基本的文件檔(CSV)或是EXCEL檔都是沒有問題。

而在實際作業狀況中，我們常常不會只匯入一筆資料，我們可能同時匯入了客戶清單、客戶消費品項、歷年銷售紀錄等資料，所以我們還需要對資料進行更進一步的處理。在過去我們可以使用 EXCEL 的 vlookup 進行以上的處理，但常常會發現在資料筆數更大時，就會面臨效能低落的冏境… 而此時 PowerPivot 就可以解決這個問題。若是熟悉SQL開發工具使用者，一定會對於PowerBI 提供的工具相當熟悉，因為可以視覺化的進行 Join 等作業。而這就是 PowerPivot 主要的作用。

而在上述資料處理作業都完成後，就能順利進行資料視覺化的作業；這視覺化的本質，在過往的 Excel 套件名詞就叫做 Power View。

其實這是相當直覺的作業流程：首先我們取得資料，進行初步的整理，而在取得多筆資料後，我需要再將資料再整行一次整理，整理完後就可以畫圖。

先使用 GUI 的工具將上述的流程完整跑過一次，後續再要進階時，就可以研究 M 、R Script、DAX 這些程式語言針對上述的作業提供了更細緻的控制。例如 M 語言可以使用參數，如此一來讓使用者就可以輸入任意筆地址然後得到回傳的經緯度。(合理使用下，一般人很難超過 Google Geo API  的使用限制)