一位大數(shù)據(jù)工程師的成長之路

工作七年，跨度比較大，每當(dāng)遇到困難的時候，我總是想起兩句話：

1、受人之托、忠人之事

2、不論處于何種艱難的境地，人始終擁有選擇自己態(tài)度的自由

希望同行和朋友們聽完故事之后有所收獲，這篇文章就沒有耽誤大家的寶貴時間。

我的本科專業(yè)是電氣自動化，畢業(yè)之后被分到一個火力發(fā)電廠工作，同學(xué)們當(dāng)時都覺得這個工作很不錯，主要是因為工作穩(wěn)定輕松，待遇也還行。

我到了火力發(fā)電廠之后，看到的是大家基本上五班三倒制工作期間都在打牌，然后就是討論買房買車，看起來整個值班室沒有什么朝氣。

我一想，我人生還長，總不能這樣打牌打一輩子，所以從火力發(fā)電廠辭職到了深圳。

剛到深圳的時候，什么技能也沒有，為了能夠生活好一點，我決定能學(xué)點什么。IT技術(shù)有個最大的好處就是，只要有個筆記本就有生產(chǎn)資料。我就買了一本C++primer自學(xué)C++。然后應(yīng)聘到一個做自動化的公司做業(yè)務(wù)。

該自動化公司的主要產(chǎn)品是運(yùn)動控制卡，支持MFC二次開發(fā)應(yīng)用程序，因為我會解決一些軟件問題，所以客戶較為歡迎我的控制卡，我也從此走上軟件開發(fā)的道路。

因為我本科專業(yè)是電氣自動化，后來應(yīng)聘到一家電氣公司開發(fā)二次設(shè)備的軟件。公司所在的行業(yè)是智能電網(wǎng)，需要經(jīng)常出差去國網(wǎng)和南網(wǎng)調(diào)試程序。我當(dāng)時主要負(fù)責(zé)的業(yè)務(wù)是研發(fā)一款設(shè)計電網(wǎng)的軟件，所以和設(shè)計院打交道比較多，因為各個地方的設(shè)計方法和標(biāo)準(zhǔn)都不一樣，所以該設(shè)計軟件的開發(fā)遇到了很大的困難。

軟件最能夠解決的其實是標(biāo)準(zhǔn)化的問題，也就是定義明確，邏輯清晰地問題。我當(dāng)時發(fā)現(xiàn)其實設(shè)計院之所以購買這款軟件，并不是因為這個軟件在設(shè)計電網(wǎng)的事情上能發(fā)揮多大的作用，而是和資質(zhì)的審批有關(guān)系。比如甲級設(shè)計院以50萬一套的價格購買軟件，然后以20萬一套的價格賣個乙級設(shè)計院，乙級設(shè)計院再以10萬一套賣給丙級設(shè)計院。

其實每一級設(shè)計院購買軟件主要是為了得到審批，在這個軟件中有一個功能，叫做圖紙審批，本質(zhì)上是在生成的圖紙中插入一個驗證碼，這個功能能夠判斷出來該驗證碼是否是相應(yīng)的配套軟件生成的。我當(dāng)時有點失落，感覺我的技術(shù)在為社會做貢獻(xiàn)上沒有什么成就，反而成為了官僚啥的幫手。

這個時候整個工作狀態(tài)是很不積極的，此時看書也看不進(jìn)，學(xué)習(xí)什么都陷入了停滯。

上面寫的第一句話起作用了：

1、受人之托、忠人之事

我受公司之托，客戶支托來開發(fā)這個軟件，就要忠誠于這個事情，要認(rèn)真把這個事情做好，才能贏得尊重。另外一個是，我要把遇到的困難不能當(dāng)成是我的一種負(fù)擔(dān)，而是一個責(zé)任和動力。

為什么是動力，因為正是有這樣的問題，所以這個地方才需要我，才需要我來解決，我就有相應(yīng)的價值。

有人說你這個軟件是沒有價值的，這個時候就聯(lián)系到第二句話

2、不論處于何種艱難的境地，人始終擁有選擇自己態(tài)度的自由

如果把人生的意義理解為創(chuàng)造價值、體驗價值、選擇態(tài)度，那么其實很多時候是沒法去創(chuàng)造價值的，但是我還有最后一條自由就是選擇我在這個事情當(dāng)中表現(xiàn)出來的態(tài)度。

包括在這很久之后，有很多同行和我說，做技術(shù)沒有追求，沒有前途。

我是這么看待這個問題的，很多人在說沒有前途的時候，他做技術(shù)的靈魂就已經(jīng)死了，系統(tǒng)之神授予他的火焰就已經(jīng)熄滅了，因為他在做技術(shù)這個事情上沒有態(tài)度了。

所以即使該軟件推廣的過程中遇到很多困難，我還是堅持下來直到版本穩(wěn)定。

這個時間已經(jīng)到了2014年年底，在此期間閱讀了很多技術(shù)書籍，做過的工作也包含很多內(nèi)容，包括MFC開發(fā)、unix后臺開發(fā)、oracle數(shù)據(jù)庫DBA等等，有些朋友覺得我還不錯，我也經(jīng)常幫忙解決各樣的技術(shù)問題，積累了一些經(jīng)驗。

傳統(tǒng)的軟件開發(fā)做得多了，感覺到千篇一律。尤其是當(dāng)時的公司系統(tǒng)主要難點并不在技術(shù)，而是業(yè)務(wù)很復(fù)雜也很專業(yè)。此時正直移動互聯(lián)網(wǎng)興起，我希望能夠?qū)W到新的技術(shù)，就到另外一家公司給順豐做數(shù)據(jù)庫服務(wù)。

這之間以前電廠的同事問我：“現(xiàn)在國家去產(chǎn)能，因為電廠污染嚴(yán)重，面臨裁員下崗，能不能出來找點事情做”。這個事情其實我是沒有預(yù)料到的，我也覺得電廠其實待遇什么都很不錯，我就說“你都在里面打了幾年牌了，外面的社會怕有點適應(yīng)不了”我這個時候感覺到的是：

我并非未卜先知這個行業(yè)發(fā)展趨勢而離開電廠救了我，救我的是我不想留在電廠每天到晚這樣度過的態(tài)度。

順豐的數(shù)據(jù)量很大，也遇到了很多技術(shù)困難，印象中很深的是上線之前，垃圾桶里面很多紅牛的易拉罐。

我對技術(shù)充滿好奇，很想知道很多事情為什么，尤其是為什么會有這么一個東西，所以到一個地方學(xué)會一些本事，到的地方多了就把周圍的東西多少學(xué)會了一些。

也是從2015年開始，我對大數(shù)據(jù)技術(shù)很有興趣，想通過一些特別的方式解決類似順豐這么大數(shù)據(jù)量的情況下，關(guān)系型數(shù)據(jù)庫不能解決的問題。

我學(xué)習(xí)新技術(shù)有一些小的方法希望分享給大家：

1、世界上沒有孤立的東西，一個技術(shù)的發(fā)明肯定有他的源頭，比如在大數(shù)據(jù)技術(shù)中：

大數(shù)據(jù)有分布式文件系統(tǒng)HDFS，單機(jī)也有文件系統(tǒng)，大數(shù)據(jù)有數(shù)據(jù)庫，單機(jī)有數(shù)據(jù)庫，都是可以類比的

2、學(xué)一項新技術(shù)可以找一些相關(guān)比較權(quán)威的資料，然后大概翻閱之后了解他們主要討論的是一些什么問題，這些問題定義如何，互相之間的關(guān)系如何。