4.3.2 調整Map、Reduce階段的參數

-- 此方法是在mapper中將多個文件合成一個split作為輸入set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;-- 每個Map蕞大輸入大小(這個值決定了合并后文件的數量)set mapred.max.split.size=256000000;-- 一個節點上split的至少的大小set mapred.min.split.size.per.node=100000000;-- 一個交換機下split的至少的大小set mapred.min.split.size.per.rack=100000000;-- 設置map端輸出進行合并，默認為trueset hive.merge.mapfiles = true;-- 設置reduce端輸出進行合并，默認為falseset hive.merge.mapredfiles = true;-- 設置合并文件的大小set hive.merge.size.per.task = 256*1000*1000;-- 當輸出文件的平均大小小于該值時，啟動一個獨立的MapReduce任務進行文件mergeset hive.merge.smallfiles.avgsize=16000000; -- hive的查詢結果輸出是否進行壓縮set hive.execpress.output=true;-- MapReduce Job的結果輸出是否使用壓縮set mapreduce.output.fileoutputformatpress=true;

4.3.3 減少Reduce的數量

有時候為了加快程序運行，可能會盲目的設置reduce的數量。通常不建議直接設置reduce的數量，可以設置每個reduce的大小，Hive會根據數據總大小猜測確定一個reduce個數。

-- 設置每個reduce的大小，Hive會根據數據總大小猜測確定一個reduce個數set hive.exec.reducers.bytes.per.reducer=5120000000; -- 默認是1G，設置為5G-- 執行以下語句，將數據均衡的分配到reduce中set mapreduce.job.reduces=10;Insert OverWrite Table A Partition(dt)Select * From BDistribute By Rand();-- 解釋：如設置reduce數量為10，則使用 rand()， 隨機生成一個數 x % 10 ，這樣數據就會隨機進入 reduce 中，防止出現有的文件過大或過小

4.3.4 使用hadoop的archive將小文件歸檔

Hadoop Archive簡稱HAR，是一個高效地將小文件放入HDFS塊中的文件存檔工具，它能夠將多個小文件打包成一個HAR文件，這樣在減少namenode內存使用的同時，仍然允許對文件進行透明的訪問

-- 用來控制歸檔是否可用set hive.archive.enabled= true;-- 通知Hive在創建歸檔時是否可以設置父目錄set hive.archive.har.parentdir.settable= true;-- 控制需要歸檔文件的大小set har.partfile.size=1099511627776;-- 使用以下命令進行歸檔ALTER TABLE srctest ARCHIVE PARTITION(dt='20210811', hr= '12' );-- 對已歸檔的分區恢復為原文件ALTER TABLE srctest UNARCHIVE PARTITION(dt='20210811', hr= '12' );

如果使用的不是分區表，則可創建成外部表，并使用har://協議來指定路徑。

五 數據傾斜

如果Hive使用的是MapReduce引擎，產生傾斜的原因就是大量相同的key都被分配到同一個Reduce中了。查看任務進度時，發現任務長時間停留在99%，只有少量的任務沒有完成。產生數據傾斜主要由下面的原因導致：

1. Key分布不均勻，有熱點Key
2. Join操作，關聯的key比較集中，導致某些個Reduce的值偏高。

3. 空值或者無意義的值：如果這些值很多，在Join的時候會拖累進度。
4. distinct操作：導致蕞終只有一個reduce任務。

解決方案

set hive.map.aggr=true;set hive.groupby.mapaggr.checkinterval=100000;

六 推測執行

通過加快獲取單個task的結果以及進行偵測將執行慢的TaskTracker加入到黑名單的方式來提高整體的任務執行效率。

6.1 修改mapred-site.xml文件

<property><name>mapred.map.tasks.speculative.execution </name><value>true</value></property><property><name>mapred.reduce.tasks.speculative.execution </name>  <value>true</value></property>

6.2 修改hive配置

set hive.mapred.reduce.tasks.speculative.execution=true;

七 設置合理的MapTask數量

7.1 Map 數過大

1. Map 階段輸出文件太小，產生大量小文件
2. 初始化和創建 Map 的開銷很大

7.2 Map 數太小

1. 文件處理或查詢并發度小，Job 執行時間過長
2. 大量作業時，容易堵塞集群

在 MapReduce 的編程案例中，我們得知，一個MR Job的 MapTask 數量是由輸入分片 InputSplit 決定的。而輸入分片是由 FileInputFormat.getSplit()決定的。一個輸入分片對應一個 MapTask， 而輸入分片是由三個參數決定的：

輸入分片大小的計算是這么計算出來的：

long splitSize = Math.max(minSize, Math.min(maxSize, blockSize))

默認情況下，輸入分片大小和 HDFS 集群默認數據塊大小一致，也就是默認一個數據塊，啟用一個 MapTask 進行處理，這樣做的好處是避免了服務器節點之間的數據傳輸，提高 job 處理效率。

兩種經典的控制 MapTask 的個數方案：減少 MapTask 數或者增加 MapTask 數

1. 減少 MapTask 數是通過合并小文件來實現，這一點主要是針對數據源
2. 增加 MapTask 數可以通過控制上一個 job 的 reduceTask 個數

因為 Hive 語句蕞終要轉換為一系列的 MapReduce Job 的，而每一個 MapReduce Job 是由一 系列的 MapTask 和 ReduceTask 組成的，默認情況下， MapReduce 中一個 MapTask 或者一個 ReduceTask 就會啟動一個 JVM 進程，一個 Task 執行完畢后， JVM 進程就退出。這樣如果任 務花費時間很短，又要多次啟動 JVM 的情況下，JVM 的啟動時間會變成一個比較大的消耗， 這個時候，就可以通過重用 JVM 來解決：

set mapred.job.reuse.jvm.num.tasks=5

八 設置合理的分區數

分區表實際上就是對應一個HDFS文件系統上的獨立的文件夾，該文件夾下是該分區所有的數據文件。Hive根據某列或者某些列的值(這些列在表中并不真實存在)將數據分區，放在表文件夾下不同子文件夾中存儲。Hive中的分區就是分目錄，把一個大的數據集根據業務需要分割成小的數據集。

8.1 靜態分區和動態分區：

1. 靜態分區：在建表中指定分區條件，數據導入或者插入時需要指定分區。
2. 動態分區：按照某個或某些字段的值不同自動地進行分區，底層實際是利用MapReduce的mutipleOutputs(根據條件判斷，將結果寫入不同目錄不同文件）。

3. 靜態分區必須在動態分區前。

8.2 分區的注意事項

Hive分區過多，導致每個分區的文件小，會導致HDFS小文件過多的問題。

1. 小文件數量過多造成NameNode負擔過大。
2. Hive運行Mapreduce時，每個block對應一個切片，而小文件則會直接對應一個map任務，使得map任務過多使得運行效率低下(Yarn頻繁申請銷毀容器)。

九 調整mapper和reducer的個數

hive通過將查詢劃分為一個或者多個MR任務達到并行化的目的，每個任務都可能具有多個mapper和reducer任務，其中一些是可以并行執行的，確定可靠些的mapper個數和reducer個數取決于多個變量，例如輸入的數據量的大小以及對這些數據操作的類型等。

設置太多的mapper與reducer個數，就會導致啟動階段，調度與運行job的過程中產生過多的開銷；如果設置的數量太少，那么就可能沒有充分利用好集群的并行性。

hive會根據輸入的數據量來分配reducer的個數，我們可以通過參數hive.exec.reducers.bytes.per.reducer來設置每個reducer的數據量大小，默認是1G，將該值調大，可以減少reducer的數量，調小，可以增加 reducer的數量。

<property>  <name>hive.exec.reducers.bytes.per.reducer</name>  <value>1000000000</value>  <description>size per reducer.The default is 1G, i.e if the input size is 10G, it will use 10 reducers.</description></property>

有些查詢map階段之后產生的中間數據量要大于輸入的數據量，有時候會小于輸入的數據量，因此合理的設置reducer的數量也是一個經驗挑戰，可以通過參數mapred.reduce.tasks，默認是-1，hive會自動計算其個數：

<property>  <name>mapred.reduce.tasks</name>  <value>-1</value>    <description>The default number of reduce tasks per job.  Typically set  to a prime close to the number of available hosts.  Ignored when  mapred.job.tracker is "local". Hadoop set this to 1 by default, whereas Hive uses -1 as its default value.  By setting this property to -1, Hive will automatically figure out what should be the number of reducers.  </description></property>

但是實際生產中，集群中數據量會很大，為了控制資源的利用情況，防止一個job過大，消耗完集群資源，使得其他job無法運行，這時可以通過參數hive.exec.reducers.max來設置蕞大值：

<property>  <name>hive.exec.reducers.max</name>  <value>999</value>  <description>max number of reducers will be used. If the onespecified in the configuration parameter mapred.reduce.tasks isnegative, Hive will use this one as the max number of reducers whenautomatically determine number of reducers.</description></property>

對于這個屬性的值，一般情況下可以根據一個公式來計算，1.5倍數可以防止未充分利用集群的資源：

（集群總共Reduce槽位的個數*1.5 /（執行中查詢的平均個數））

十 Hive的其他優化方法

10.1 并行執行

Hive會將一個查詢轉化成一個或者多個階段。這樣的階段可以是MapReduce階段、抽樣階段、合并階段、limit階段?；蛘逪ive執行過程中可能需要的其他階段。默認情況下，Hive一次只會執行一個階段。不過，某個特定的job可能包含眾多的階段，而這些階段可能并非完全互相依賴的，也就是說有些階段是可以并行執行的，這樣可能使得整個job的執行時間縮短。不過，如果有更多的階段可以并行執行，那么job可能就越快完成。

10.2 嚴格模式

對于分區表，除非where語句中含有分區字段過濾條件來限制范圍，否則不允許執行。換句話說，就是用戶不允許掃描所有分區。進行這個限制的原因是，通常分區表都擁有非常大的數據集，而且數據增加迅速。沒有進行分區限制的查詢可能會消耗令人不可接受的巨大資源來處理這個表。

對于使用了order by語句的查詢，要求必須使用limit語句。因為order by為了執行排序過程會將所有的結果數據分發到同一個Reducer中進行處理，強制要求用戶增加這個LIMIT語句可以防止Reducer額外執行很長一段時間。

限制笛卡爾積的查詢。對關系型數據庫非常了解的用戶可能期望在執行JOIN查詢的時候不使用ON語句而是使用WHERe語句，這樣關系數據庫的執行優化器就可以高效地將WHERe語句轉化成那個ON語句。不幸的是，Hive并不會執行這種優化，因此，如果表足夠大，那么這個查詢就會出現不可控的情況。

10.3 JVM重用

JVM重用是Hadoop調優參數的內容，其對Hive的性能具有非常大的影響，特別是對于很難避免小文件的場景或task特別多的場景，這類場景大多數任務執行時間都很短。