如何執行自帶count,如何執行自帶wordcount

2021-07-25 18:43:53 字數 2507 閱讀 8963

1樓:匿名使用者

1.找到examples例子

我們需要找打這個例子的位置:首先需要找到你的hadoop資料夾,然後依照下面路徑:

/hadoop/share/hadoop/mapreduce會看到如下圖:

hadoop-mapreduce-examples-2.2.0.jar

第二步:

我們需要需要做一下執行需要的工作,比如輸入輸出路徑,上傳什麼檔案等。

1.先在hdfs建立幾個資料目錄:

hadoop fs -mkdir -p /data/wordcount

hadoop fs -mkdir -p /output/

2.目錄/data/wordcount用來存放hadoop自帶的wordcount例子的資料檔案,執行這個mapreduce任務的結果輸出到/output/wordcount目錄中。

首先新建檔案inputword:

vi /usr/inputword

新建完畢,檢視內容:

cat /usr/inputword

將本地檔案上傳到hdfs中:

hadoop fs -put /usr/inputword /data/wordcount/

可以檢視上傳後的檔案情況,執行如下命令:

hadoop fs -ls /data/wordcount

可以看到上傳到hdfs中的檔案。

通過命令

hadoop fs -text /data/wordcount/inputword

看到如下內容:

下面,執行wordcount例子,執行如下命令:

hadoop jar /usr/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.

jar wordcount /data/wordcount /output/wordcount

可以看到控制檯輸出程式執行的資訊

檢視結果,執行如下命令:

hadoop fs -text /output/wordcount/part-r-00000

結果資料示例如下:

登入到web控制檯,訪問連結http.//master:8088/可以看到任務記錄情況。

2樓:三界大亨

1、在linux系統中,所在目錄“/home/kcm”下建立一個檔案input

[ubuntu@701~]$ mkdir input

2.在資料夾input中建立兩個文字檔案file1.txt和file2.

txt,file1.txt中內容是“hello word”,file2.txt中內容是“hello hadoop”、“hello mapreduce”(分兩行)。

[ubuntu@701~]$ cd input

[ubuntu@701~]$ vi file1.txt(編輯檔案並儲存)

[ubuntu@701~]$ vi file2.txt(編輯檔案並儲存)

[ubuntu@701~]$ ls -l /home/kcm/input

file1.txt file2.txt

顯示檔案內容可用:

[ubuntu@701~]$ cat/home/kcm/input/file1.txt

hello word

[ubuntu@701~]$ cat /home/kcm/input/file2.txt

hello mapreduce

hello hadoop

3.在hdfs上建立輸入資料夾wc_input,並將本地資料夾input中的兩個文字檔案上傳到叢集的wc_input下

[ubuntu@701~]$ hadoop fs -mkdir wc_input

[ubuntu@701~]$ hadoop fs -put/home/kcm/input/file* wc_input

檢視wc_input中的檔案:

[ubuntu@701~]$ /hadoop fs -ls wc_input

found 2 items

-rw-r--r-- 1 root supergroup 11 2014-03-13 01:19 /user/hadoop/wc_input/file1.txt

-rw-r--r-- 1 root supergroup 29 2014-03-13 01:19 /user/hadoop/wc_input/file2.txt

4.首先,在window下將wordcount進行打包,我們這裡把它打包成wordcount.jar;然後,將wordcount.

jar拷貝到linux系統中,存放的目錄自己決定即可。我們這裡存放到/home/kcm目錄下面。

5.執行wordcount.jar包**到該jar包存放的目錄下):

[ubuntu@701~]$ hadoop jar wordcount.jar /user/hadoop/wc_input /user/hadoop/output

3樓:匿名使用者

jobtracker和tasktracker之間通訊存在問題

如何提高企業執行力,如何提高企業的執行力?

如何提高企業執行力?一 建立溝通渠道 建立良好的溝通渠道,及時收集並反饋資訊,協調內部資源可以有效的解決問題,促進員工執行力的提升。因為良好的溝通渠道,使得溝通起來方便快捷,避免傳遞資訊不到位或傳達錯誤引發工作出現被動。同時可以協調內部資源 解決遇到的各種矛盾和問題,糾正出現的偏差和錯誤,確保各項工...

如何抓好落實,提升執行力,如何提高執行力 狠抓工作落實

1.通過企業執行力文化的塑造與建立,逐步影響員工,進而提升企業員工執行力。因為在企業文化中蘊含執行力文化,會對員工在執行力方面的改變有著重要和長期作用,起到非常重要的積極作用。2.建立良好的溝通渠道,及時收集並反饋資訊,協調內部資源有效解決問題,促進員工執行力的提升。因為通過建立良好的溝通渠道,使得...

如何檢視手機執行記憶體,如何檢視手機執行記憶體 RAM

你好,一部手機的好壞不在於手機記憶體有多大,當然一般手機記憶體大的手機都 專是高階手機,因為只有屬足夠的手機記憶體,執行記憶體才能執行更高的系統。檢視手機記憶體只要在設定 sd和儲存可以檢視,現在1000元左右的手機都可以購買到很好的手機,htc 華為 中興 等都不是太貴的手機,但是配置上也算過得去...