用Make來入門簡(jiǎn)單的并行計(jì)算

我們已經(jīng)習(xí)慣于聽到說樹莓派改革了原有的教育和創(chuàng)客社區(qū)，但事實(shí)上樹莓派2的開發(fā)過程中，他同時(shí)參與了計(jì)算機(jī)歷史上另一個(gè)改革浪潮：從單核計(jì)算機(jī)到多核計(jì)算機(jī)的轉(zhuǎn)變。

這會(huì)在最根本的程度上改變我們寫程序的思維，樹莓派2和3上面都搭載著一個(gè)四核的處理器，四核也就意味著可以同時(shí)運(yùn)行四個(gè)任務(wù)；理論上來說，對(duì)于同一個(gè)程序而言這讓我們可以有四倍于過去的速度，但是實(shí)際上我們很難去使用去真正地發(fā)揮這個(gè)多出來的計(jì)算資源。在這篇文章中，我們會(huì)稍稍地介紹一個(gè)最簡(jiǎn)單的使用樹莓派四核性能的并行計(jì)算的方法。

本文由KnownCold翻譯自MagPi第52期

三核處理器的早餐

?

在我們開始寫程序之前，我們先來看一下我們每天都會(huì)做的一件事：做早飯。如果我們嘗試著去描述一下這個(gè)做早飯過程，那么他看起來可能是右圖這樣的一個(gè)列表。

?

這個(gè)列表呢，他是一個(gè)很明顯的順序執(zhí)行的程序，他包括了所有做早飯的必要的工作，但是還遺漏了一些重要的事情。事實(shí)上，我們永遠(yuǎn)不會(huì)像這個(gè)列表一樣照著這個(gè)順序一個(gè)一個(gè)任務(wù)地做下去，我們會(huì)同時(shí)地做幾件事情，比如我們可以同時(shí)煮水和烤面包片；當(dāng)然也會(huì)有一些事情不能同時(shí)做，比如只有當(dāng)你煮完水才能泡茶喝。

?

所以我們可以換一種方式來描述這個(gè)做早飯的任務(wù)，就像下面這個(gè)圖一樣：

我們從上而下的做這些小任務(wù)，當(dāng)每一個(gè)上面的任務(wù)做完之后，我們就能接著做他下面的那個(gè)任務(wù)，顯然地，這樣做起來速度會(huì)比前一種列表的順序快很多。

當(dāng)然，不是所有的任務(wù)都可以分解成小任務(wù)，也不是所有的小任務(wù)可以這么并行地來完成。

使用Make

那么在樹莓派2和3上，我們?cè)趺磥碜龅筋愃频姆纸馊蝿?wù)，然后并行運(yùn)行呢？

Raspbian這個(gè)操作系統(tǒng)上，原生的就有一個(gè)程序叫做Make，這個(gè)程序按照一個(gè)有依賴的任務(wù)列表，按一定的順序來執(zhí)行每項(xiàng)任務(wù)，恰好他支持在樹莓派上的并行計(jì)算。

Make這個(gè)程序本身一開始被設(shè)計(jì)為給C語言或者C++語言這些需要編譯源代碼的程序語言提供各種依賴和編譯的順序，而現(xiàn)在他也支持執(zhí)行各種只要能夠被他描述的有依賴性的任務(wù)。想要使用Make，我們需要編寫一個(gè)makefile來描述每項(xiàng)任務(wù)之間的依賴，作為一個(gè)例子，我們會(huì)寫一個(gè)程序，用來把一堆圖片的縮略圖拼湊成一個(gè)大圖，這個(gè)程序可以用來處理大量的圖片文件，比如在一個(gè)服務(wù)器上處理大量圖片，我們就能粗略地查看一下這些縮略圖了。

除了Make，我們還要使用一個(gè)叫做ImageMagick的程序來轉(zhuǎn)換圖片，用下面的Bash代碼來確保我們的程序里面已經(jīng)有ImageMagick和Make了：

我們打算先使用Make來生成每張?jiān)紙D片的縮略圖，最后再把他們拼湊起來，這個(gè)程序的主要工作就在于生成縮略圖，依賴圖如下所示：

這個(gè)圖展示了縮略圖、原始圖和最后的拼圖之間的關(guān)系，因?yàn)槊總€(gè)縮略圖的生成過程都是獨(dú)立進(jìn)行的，所以我們可以讓樹莓派的四個(gè)核同時(shí)投入生成縮略圖的這個(gè)工作，然后當(dāng)縮略圖都生成完全的時(shí)候，就可以進(jìn)行下一步生成拼圖了。

Makefile 的編寫規(guī)則

Makefile文件是我們用來描述所有任務(wù)和他們之間的依賴關(guān)系的，首先，他定義了任務(wù)相關(guān)的原始圖片和縮略圖的列表，然后我們?cè)趫D里定義了兩個(gè)依賴規(guī)則。第一個(gè)規(guī)則描述了如何從原始圖片生成縮略圖：“fullsize”這個(gè)文件夾里面所有的圖片都要通過“convert”這個(gè)命令來轉(zhuǎn)換成“thumbs”文件夾里面的同名文件。需要注意的是，包含命令的那幾行必須要用tab鍵的縮進(jìn)開頭；第二個(gè)規(guī)則是明確了最后的拼圖必須依賴于前面的所有縮略圖，使用了”montage”命令來創(chuàng)建拼圖并顯示。我們已經(jīng)告訴Make哪些命令用來縮小尺寸，那些命令用來拼湊圖片，但是我們還沒有明確一個(gè)執(zhí)行的順序，Make會(huì)自己計(jì)算出一個(gè)合適的順序，畢竟我們已經(jīng)從一個(gè)單一順序的程序描述轉(zhuǎn)換成描述并行任務(wù)和互相的依賴了，系統(tǒng)已經(jīng)能自己想出最合適的最高效的執(zhí)行順序了。

這次的makefile如下：

?

最簡(jiǎn)單的運(yùn)行方法就是運(yùn)行

這會(huì)啟動(dòng)Make程序，然后讀取我們?cè)趍akefile里面寫完了的相應(yīng)規(guī)則，并開始按照正確的順序執(zhí)行命令；但是，Make一開始會(huì)假定可用的處理器核心只有一個(gè)，也就是說仍然一個(gè)一個(gè)的慢慢地執(zhí)行下去。當(dāng)然我們可以很方便告訴Make我們有四個(gè)核：

這個(gè)命令明確了Make會(huì)同時(shí)執(zhí)行四個(gè)任務(wù)，所以通過這種方法的話，我們的程序速度會(huì)是之前的四倍左右，現(xiàn)在讓我們?cè)凇癴ullsize”文件夾里面添加一些新的圖片然后運(yùn)行Make吧，它可以檢查每個(gè)文件的時(shí)間戳，確定哪些工作是必要，哪些工作是不需要做的（假如之前生成過一次縮略圖，第二次就不需要重復(fù)了），這也就意味著，在Make運(yùn)行到一半的時(shí)候，我們可以隨意的中斷，然后下一次繼續(xù)。

運(yùn)行下面的命令就會(huì)

就會(huì)清空所有的縮略圖和拼圖。