Windows系統讀取包含日文、韓文的UTF8 文件 [R]

眾所皆知，w indows系統在處理編碼上是非常弱勢的；

相對於 linux 與 mac 在讀寫各式不同編碼的純文件時，只需要指定好 encoding 的內容就可以正常讀取；目前經過我交叉測試，在windows中如果UTF8文件中包含了日文、韓文的UTF8文件還是無法正確讀取…

將問題與解法整理成如下2張圖:


可依情境加以使用不同解決方案，這2種方式都可以正確讀取含有日文、韓文等文字的UTF8文件…若使用原始系統搭載的 read.csv() 則執行指令時會報錯!!

備註：

(1)readxl套件，請參考:
http://www.r-bloggers.com/get-data-out-of-excel-and-into-r-with-readxl/

(2)readr套件，請參考:
http://www.r-bloggers.com/readr-0-2-0/

readr還含許多方便的機能，例如猜文件編碼的函數
guess_encoding(文件名稱), 非常實用!!!

Power BI 利用 ODBC 連接 sqlite

Power BI 利用 ODBC 連接 sqlite

• Power BI 是微軟力推的商業智慧軟體，目前強調在與 excel 高度的整合性；所以被微軟內部視為重要的戰略武器，幾乎每個月都有更新功能… 目前使用限定在 windows 平台，但可以用私人網域郵件申請帳號，就可以將 Power BI的內容以 HTML5 網頁方式呈現
• 但是…
• 其實實務上在資料蒐集的階段，目前 windows 平台不是一個好選擇… 往往我們是在 linux 的 docker 環境中將資料以最簡單的 sqlite 方式予以儲存
• 所以將sqlite的檔案移轉至 windows 平台後利用 ODBC 方式取存是最簡單的

step:

• 安裝 SQLite ODBC
  
  • http://www.ch-werner.de/sqliteodbc/
• 在 Power BI 的資料來源中，選取其他來源→ODBC 使用以下連線字串 以例中，sqlite文件為 ff123.sqlite 位於 c:\Users\xxx\Downloads\ 資料夾
  
  • DRIVER=SQLite3 ODBC Driver;Database=c:\Users\xxx\Downloads\ff123.sqlite;LongNames=0;Timeout=1000;NoTXN=0; SyncPragma=NORMAL;StepAPI=0;
  • 參考網站 :https://www.connectionstrings.com/sqlite3-odbc-driverhttp://www.ch-werner.de/sqliteodbc//
• 成功之後，Power BI還會很無聊的問你帳號與密碼是什麼?
  
  • 隨便填一填就連線成功!
  • 支援utf8中文!

備註 :

• 如果你有用過 Excel 舊版中連接資料庫中取得 ODBC 或是 SQL SERVER 就會被目前 Power BI 純工程師介面給嚇到… 突然要你輸入一長串的連線字串，完全沒有提示… 還好 google 找得到
• 如果不用 ODBC, 使用將 sqlite 匯出成 csv 後 → 匯入 Power BI，會有utf8處理中文的問題…
  • 目前 Power BI 似乎暫無解決 utf8 csv 的手段
  • Excel也有一樣的問題，但可用匯入文字檔的方式才能解決
  • sqlite → 轉存 csv → 轉存成 excel 就能解決，但有點複雜

總之利用 ODBC 方式算是 windows 底下處理 sqlite 最簡單的方式!