五大常用算法：分治、動(dòng)態(tài)規(guī)劃、貪心、回溯和分支界定詳解

　　一、什么是算法？

　　算法（Algorithm）是指解題方案的準(zhǔn)確而完整的描述，是一系列解決問題的清晰指令，算法代表著用系統(tǒng)的方法描述解決問題的策略機(jī)制。也就是說，能夠?qū)σ欢ㄒ?guī)范的輸入，在有限時(shí)間內(nèi)獲得所要求的輸出。如果一個(gè)算法有缺陷，或不適合于某個(gè)問題，執(zhí)行這個(gè)算法將不會(huì)解決這個(gè)問題。不同的算法可能用不同的時(shí)間、空間或效率來完成同樣的任務(wù)。一個(gè)算法的優(yōu)劣可以用空間復(fù)雜度與時(shí)間復(fù)雜度來衡量。

　　算法中的指令描述的是一個(gè)計(jì)算，當(dāng)其運(yùn)行時(shí)能從一個(gè)初始狀態(tài)和（可能為空的）初始輸入開始，經(jīng)過一系列有限而清晰定義的狀態(tài)，最終產(chǎn)生輸出并停止于一個(gè)終態(tài)。一個(gè)狀態(tài)到另一個(gè)狀態(tài)的轉(zhuǎn)移不一定是確定的。隨機(jī)化算法在內(nèi)的一些算法，包含了一些隨機(jī)輸入。

　　二、算法的特征

　　有窮性（Finiteness）

　　算法的有窮性是指算法必須能在執(zhí)行有限個(gè)步驟之后終止；

　　確切性（Definiteness）

　　算法的每一步驟必須有確切的定義；

　　輸入項(xiàng)（Input）

　　一個(gè)算法有0個(gè)或多個(gè)輸入，以刻畫運(yùn)算對(duì)象的初始情況，所謂0個(gè)輸入是指算法本身定出了初始條件；

　　輸出項(xiàng)（Output）

　　一個(gè)算法有一個(gè)或多個(gè)輸出，以反映對(duì)輸入數(shù)據(jù)加工后的結(jié)果。沒有輸出的算法是毫無意義的；

　　可行性（Effectiveness）

　　算法中執(zhí)行的任何計(jì)算步驟都是可以被分解為基本的可執(zhí)行的操作步，即每個(gè)計(jì)算步都可以在有限時(shí)間內(nèi)完成（也稱之為有效性）。

　　三、算法的要素

　　1、數(shù)據(jù)對(duì)象的運(yùn)算和操作

　　計(jì)算機(jī)可以執(zhí)行的基本操作是以指令的形式描述的。一個(gè)計(jì)算機(jī)系統(tǒng)能執(zhí)行的所有指令的集合，成為該計(jì)算機(jī)系統(tǒng)的指令系統(tǒng)。一個(gè)計(jì)算機(jī)的基本運(yùn)算和操作有如下四類：

　　1）算術(shù)運(yùn)算：加減乘除等運(yùn)算

　　2）邏輯運(yùn)算：或、且、非等運(yùn)算

　　3）關(guān)系運(yùn)算：大于、小于、等于、不等于等運(yùn)算

　　4）數(shù)據(jù)傳輸：輸入、輸出、賦值等運(yùn)算

　　2、算法的控制結(jié)構(gòu)

　　一個(gè)算法的功能結(jié)構(gòu)不僅取決于所選用的操作，而且還與各操作之間的執(zhí)行順序有關(guān)。

　　四、五大常用算法

　　1、分治算法

　　1）基本概念

　　在計(jì)算機(jī)科學(xué)中，分治法是一種很重要的算法。字面上的解釋是“分而治之”，就是把一個(gè)復(fù)雜的問題分成兩個(gè)或更多的相同或相似的子問題，再把子問題分成更小的子問題……直到最后子問題可以簡(jiǎn)單的直接求解，原問題的解即子問題的解的合并。這個(gè)技巧是很多高效算法的基礎(chǔ)，如排序算法（快速排序，歸并排序），傅立葉變換（快速傅立葉變換）……

　　任何一個(gè)可以用計(jì)算機(jī)求解的問題所需的計(jì)算時(shí)間都與其規(guī)模有關(guān)。問題的規(guī)模越小，越容易直接求解，解題所需的計(jì)算時(shí)間也越少。例如，對(duì)于n個(gè)元素的排序問題，當(dāng)n=1時(shí)，不需任何計(jì)算。n=2時(shí)，只要作一次比較即可排好序。n=3時(shí)只要作3次比較即可，…。而當(dāng)n較大時(shí)，問題就不那么容易處理了。要想直接解決一個(gè)規(guī)模較大的問題，有時(shí)是相當(dāng)困難的。

　　2）基本思想及策略

　　分治法的設(shè)計(jì)思想是：將一個(gè)難以直接解決的大問題，分割成一些規(guī)模較小的相同問題，以便各個(gè)擊破，分而治之。

　　分治策略是：對(duì)于一個(gè)規(guī)模為n的問題，若該問題可以容易地解決（比如說規(guī)模n較?。﹦t直接解決，否則將其分解為k個(gè)規(guī)模較小的子問題，這些子問題互相獨(dú)立且與原問題形式相同，遞歸地解這些子問題，然后將各子問題的解合并得到原問題的解。這種算法設(shè)計(jì)策略叫做分治法。

　　如果原問題可分割成k個(gè)子問題，1《k≤n，且這些子問題都可解并可利用這些子問題的解求出原問題的解，那么這種分治法就是可行的。由分治法產(chǎn)生的子問題往往是原問題的較小模式，這就為使用遞歸技術(shù)提供了方便。在這種情況下，反復(fù)應(yīng)用分治手段，可以使子問題與原問題類型一致而其規(guī)模卻不斷縮小，最終使子問題縮小到很容易直接求出其解。這自然導(dǎo)致遞歸過程的產(chǎn)生。分治與遞歸像一對(duì)孿生兄弟，經(jīng)常同時(shí)應(yīng)用在算法設(shè)計(jì)之中，并由此產(chǎn)生許多高效算法。

　　3）分治法適用的情況

　　分治法所能解決的問題一般具有以下幾個(gè)特征：

　　1） 該問題的規(guī)?？s小到一定的程度就可以容易地解決

　　2） 該問題可以分解為若干個(gè)規(guī)模較小的相同問題，即該問題具有最優(yōu)子結(jié)構(gòu)性質(zhì)。

　　3） 利用該問題分解出的子問題的解可以合并為該問題的解；

　　4） 該問題所分解出的各個(gè)子問題是相互獨(dú)立的，即子問題之間不包含公共的子子問題。

　　第一條特征是絕大多數(shù)問題都可以滿足的，因?yàn)閱栴}的計(jì)算復(fù)雜性一般是隨著問題規(guī)模的增加而增加；

　　第二條特征是應(yīng)用分治法的前提它也是大多數(shù)問題可以滿足的，此特征反映了遞歸思想的應(yīng)用；、

　　第三條特征是關(guān)鍵，能否利用分治法完全取決于問題是否具有第三條特征，如果具備了第一條和第二條特征，而不具備第三條特征，則可以考慮用貪心法或動(dòng)態(tài)規(guī)劃法。

　　第四條特征涉及到分治法的效率，如果各子問題是不獨(dú)立的則分治法要做許多不必要的工作，重復(fù)地解公共的子問題，此時(shí)雖然可用分治法，但一般用動(dòng)態(tài)規(guī)劃法較好。

　　4）分治法的基本步驟

　　分治法在每一層遞歸上都有三個(gè)步驟：

　　step1 分解：將原問題分解為若干個(gè)規(guī)模較小，相互獨(dú)立，與原問題形式相同的子問題；

　　step2 解決：若子問題規(guī)模較小而容易被解決則直接解，否則遞歸地解各個(gè)子問題

　　step3 合并：將各個(gè)子問題的解合并為原問題的解。

　　它的一般的算法設(shè)計(jì)模式如下：

　　Divide-and-Conquer（P）

　　1. if |P|≤n0

　　2. then return（ADHOC（P））

　　3. 將P分解為較小的子問題 P1 ，P2 ，。。。，Pk

　　4. for i←1 to k

　　5. do yi ← Divide-and-Conquer（Pi） △ 遞歸解決Pi

　　6. T ← MERGE（y1，y2，。。。，yk） △ 合并子問題

　　7. return（T）

　　其中|P|表示問題P的規(guī)模；n0為一閾值，表示當(dāng)問題P的規(guī)模不超過n0時(shí)，問題已容易直接解出，不必再繼續(xù)分解。ADHOC（P）是該分治法中的基本子算法，用于直接解小規(guī)模的問題P。因此，當(dāng)P的規(guī)模不超過n0時(shí)直接用算法ADHOC（P）求解。算法MERGE（y1，y2，。。。，yk）是該分治法中的合并子算法，用于將P的子問題P1 ，P2 ，。。。，Pk的相應(yīng)的解y1，y2，。。。，yk合并為P的解。