由 author 在 週四, 2013-12-05 15:33 發表
若將程式放到 server 上執行, 然後利用 System.out 輸出訊息來進行除錯這是一個方式, 但這就需要頭腦清晰的人比較合適, 因為對於錯誤的結果能夠判斷可能出錯的位置來進行資料監視, 藉此進行除錯. 但對於常用單步執行方式進行監視除錯者就很累了, 此時可以借助 MRUint 類別來將 mapreduce 變成 local 端執行, 雖然跟實際server端運作有差異, 但就處理邏輯檢查部分是OK的,
►使用
MRUnit
1. 解開下載檔案(apache-mrunit-1.0.0-hadoop1-bin.tar.gz)後將 mrunit-1.0.0-hadoop1.jar 引入專案內
2. 測試 Mapper 做法
新增程式如下
由 author 在 週六, 2013-11-30 15:55 發表
整個運算基本有三程序所組成, 運用常見範例來了解 MapReduce 運作最基本流程, 首先從整個程序的進入點開始
►
MapReduce Driver 整個程序作業配置與啟動
頁面
