關于數(shù)據(jù)科學的趨勢和前景

關于數(shù)據(jù)科學的趨勢和前景，這里有你想了解的信息

創(chuàng)造或產(chǎn)生的信息量或數(shù)據(jù)量每天都在迅速增加。醫(yī)療、零售、資訊科技、咨詢，甚至政府機構等多個業(yè)界的數(shù)據(jù)量都在快速增長。這種增長的基本原因是，越來越多的人擁有比以往更多的工具來創(chuàng)建和共享信息。消費者不是唯一創(chuàng)造數(shù)據(jù)的人員，企業(yè)也在產(chǎn)生大量數(shù)據(jù)。

在不久的過去，行業(yè)和組織在做出關鍵決策時，很大程度上依賴于猜測。而大數(shù)據(jù)和數(shù)據(jù)科學讓他們能夠瀏覽大量的信息，并在解決各自行業(yè)的問題時感到自信。

隨著可用數(shù)據(jù)量的增加，管理信息或數(shù)據(jù)的問題變得更加困難。為了處理這些不斷增長的數(shù)據(jù)并理解這些數(shù)據(jù)，需要越來越多的數(shù)據(jù)科學專家，以便組織能夠對其業(yè)務做出明智的決策。

由于最近幾年數(shù)據(jù)量的爆發(fā)式增長，全球數(shù)據(jù)科學專家的數(shù)量也在增加。所以，問題來了，如果數(shù)據(jù)科學專家的數(shù)量逐年增加，那么專家們在哪里存在，比例又是多少呢?

本文我們將嘗試用 2011-2018年 Stack Overflow 的調查數(shù)據(jù)來尋找答案。

Stack Overflow 是一個每月都有大量的活躍用戶的在線技術論壇。利用調查結果，我們可以發(fā)現(xiàn)一般軟件工程師社區(qū)以及數(shù)據(jù)科學社區(qū)的見解。在這次分析中，我使用 “2011-2018年 Stack Overflow 開發(fā)者調查” 的數(shù)據(jù)來了解數(shù)據(jù)科學社區(qū)的增長情況。

一般來說，數(shù)據(jù)科學社區(qū)包括“數(shù)據(jù)庫管理員”、“商業(yè)智能專家”、“數(shù)據(jù)倉庫專家”、“機器學習專家”、“數(shù)據(jù)科學家”和“具有統(tǒng)計或數(shù)學背景的開發(fā)人員”。

本文分析了全球不同國家、不同行業(yè)和不同規(guī)模企業(yè)的數(shù)據(jù)科學社區(qū)增長的比例和趨勢。

因此，我們可以先問自己以下幾個問題:

從2011年到2018年，數(shù)據(jù)科學社區(qū)的增長趨勢是什么?

數(shù)據(jù)科學社區(qū)在哪些國家發(fā)展?

近年來各國數(shù)據(jù)科學社區(qū)的發(fā)展趨勢是什么?

數(shù)據(jù)科學社區(qū)在哪些行業(yè)增長，占多大比例?

近年來，不同行業(yè)的數(shù)據(jù)科學社區(qū)的發(fā)展趨勢是什么?

在哪種類型企業(yè)(小型、中型和大型)中，數(shù)據(jù)科學社區(qū)增長了? 比例是多少?

近年來，不同規(guī)模的企業(yè)在數(shù)據(jù)科學領域的增長趨勢是什么?

以上問題的答案均以調查數(shù)據(jù)為依據(jù)。讓我們逐一回答這些問題。

1. 從2011年到2018年，數(shù)據(jù)科學社區(qū)的增長趨勢是什么?

從上面的可視化結果我們可以看出，近年來，數(shù)據(jù)科學社區(qū)在軟件開發(fā)人員中發(fā)展迅速。它從2014年才開始顯著增長，但2015年后開始呈指數(shù)級增長。這與最近幾年的也是指數(shù)級的數(shù)據(jù)爆炸是同步發(fā)生的。

從那以后，數(shù)據(jù)爆炸越來越多。為了從每天產(chǎn)生的新數(shù)據(jù)中進行處理和分析，全球每年都在創(chuàng)造越來越多的數(shù)據(jù)科學工作。

2. 數(shù)據(jù)科學社區(qū)在哪些國家發(fā)展?

從上圖我們可以觀察得到數(shù)據(jù)科學專家數(shù)量排名前十的國家中數(shù)據(jù)科學社區(qū)的發(fā)展趨勢。美國引領了增長的趨勢，其次是印度、德國、英國等。

美國數(shù)據(jù)科學社區(qū)的增長趨勢呈指數(shù)級，處于全盛時期；其次是印度、德國和英國的數(shù)據(jù)科學社區(qū)，增長趨勢也呈指數(shù)級，但尚未達到全盛時期。對于加拿大、巴西、俄羅斯、法國、澳大利亞和西班牙等其他國家來說，數(shù)據(jù)科學社區(qū)的人數(shù)有所增加，但與前四個國家相比增速緩慢。

從美國擁有硅谷時起，它就成為了大型軟件和IT組織、銀行、金融和保險公司、醫(yī)療服務提供商、教育機構、更好的基礎設施的領軍者和技術家園，并始終處于技術和 IT 先進程度的頂端，這些行業(yè)及其創(chuàng)建的日常服務僅在美國就創(chuàng)建了大量的數(shù)據(jù)。因此，與其他國家相比，美國需要更多的數(shù)據(jù)科學專家，這是具有指數(shù)增長合理性的。

印度一直是美國 IT 服務供應商國家中很重要的一部分，美國與印度具有相同份額的 IT 工作量。與美國一樣，印度在上述各個領域也有自己的一套數(shù)據(jù)科學要求。因此，印度正在創(chuàng)造大量的數(shù)據(jù)科學機會，也在引領印度數(shù)據(jù)科學社區(qū)快速增長。

德國、英國以及其他排名前六的國家也是如此。大量的數(shù)據(jù)被創(chuàng)造出來，為了處理、保存和理解這些數(shù)據(jù)，每個國家對數(shù)據(jù)科學專家的需求也在快速增長，但是根據(jù)每個國家的需求和市場的不同，需求增長的速度也不同。

從上方的可視化圖中，我們可以觀察到排名前十的國家的數(shù)據(jù)科學社區(qū)的增長趨勢，但現(xiàn)在是按某個國家歷年的份額（或比例）來衡量的。因此，對于每個國家來說，2011年專家的比例最低，之后專家的比例上升，直到2018年，專家比例達到最大值。因此，對于每個國家而言，在8年的時間里，2011年是數(shù)據(jù)科學社區(qū)所占比例最低的一年，2018年是所占比例最高的一年，8年時間里每個國家所占比例之為100%。

此外，比例的增長是指數(shù)級的，這與這些國家近年來以指數(shù)方式制造的數(shù)據(jù)是一致的。我們可以清楚地看到，每一個擁有數(shù)據(jù)科學專家的排名前十的國家都有相同的模式，即多年的指數(shù)增長，但他們的速度不同。

3.近年來各國數(shù)據(jù)科學社區(qū)的發(fā)展趨勢是什么?

從上圖中，我們可以得到以下結論:

在2011年，并不是所有排名前十的國家都在使用數(shù)據(jù)科學。大多數(shù)國家的數(shù)據(jù)科學專家比例為0，只有美國、英國、澳大利亞和德國等少數(shù)國家有數(shù)據(jù)科學的存在，而美國在前10名的所有國家中占有50%的數(shù)據(jù)科學專家份額。

美國的份額每年都遠遠超過其他國家。2011年，美國在數(shù)據(jù)科學專家中所占的比例約為50%，并且逐年在不同國家的數(shù)據(jù)科學專家中所占的比例都在提高。2018年，美國擁有數(shù)據(jù)科學專家數(shù)量約38%的份額。

隨著時間的推移，其他國家也開始使用數(shù)據(jù)科學，占其他國家的比例從0上升到20%。

不同國家的數(shù)據(jù)科學專家群體增長率不同，特別要說的是印度，從2011年的0增長到2018年的18%左右。

德國的份額也有所增加。澳大利亞在幾年間逐漸失去了它的份額。英國先是有所增長，但隨著時間的推移，這一比例略有下降。

自從其他國家開始擁有數(shù)據(jù)科學社區(qū)的份額，美國失去了一些它在數(shù)據(jù)科學社區(qū)的份額，但仍然保持所有這些年來最高的百分比。

2011年，使用數(shù)據(jù)科學的國家份額差異較大，這一比例差異逐年減小，到2018年，國家之間的份額差異變得更小。這意味著排名前十的國家中，每個國家都在使用數(shù)據(jù)科學。但根據(jù)需求和市場的不同，每個國家使用數(shù)據(jù)科學的份額也有所不同。

4. 數(shù)據(jù)科學社區(qū)在哪些行業(yè)增長，占多大份額?

綜合2011-2018年各年份的數(shù)據(jù)，在2017年和2018年的調查中，沒有關于個人所屬行業(yè)的數(shù)據(jù)。因此，以下推論基于2011-2016年的調查數(shù)據(jù)。

從上面的可視化結果來看，幾乎所有的行業(yè)都或多或少地使用了數(shù)據(jù)科學，主要應用于軟件產(chǎn)品、金融和銀行業(yè)、咨詢、醫(yī)療和教育行業(yè)。此外，從可視化結果中我們可以看到，最多數(shù)據(jù)科學專家的行業(yè)對應的是 “Other”，這表示 Stack overflow 的調查中沒有使用數(shù)據(jù)科學的行業(yè)。

“Other” 可以指各種行業(yè)，如：各種類別的研究、醫(yī)藥、制藥、電子商務、建筑、運輸、保險、旅游和酒店、公用事業(yè)、自然資源和能源等。

在現(xiàn)在這個輕科技時代，所有行業(yè)和組織都被數(shù)據(jù)淹沒，數(shù)據(jù)正以指數(shù)級的方式被創(chuàng)造出來。因此，數(shù)據(jù)科學正以不同的比例被各行各業(yè)所使用，因為數(shù)據(jù)科學會產(chǎn)生更明智的決策。

從上圖中我們可以觀察到數(shù)據(jù)科學專家排名前十的行業(yè)中數(shù)據(jù)科學社區(qū)的增長趨勢。我們可以看到，“Other” 引領了增長趨勢，其次是軟件產(chǎn)品、金融/銀行等。這里的 “Other” 行業(yè)也可以看作是指各種研究、醫(yī)藥、制藥、電子商務、建筑、運輸、保險、旅游和酒店、公用事業(yè)、自然資源和能源等行業(yè)。

數(shù)據(jù)科學社區(qū)在軟件產(chǎn)品和金融/銀行業(yè)呈指數(shù)增長趨勢，在咨詢、教育、醫(yī)療保健領域的增長也呈上升趨勢，但相較之下速度較慢。

互聯(lián)網(wǎng)、政府、媒體/廣告和制造業(yè)也有上升趨勢，但只是在 2014年之后，而且與其他行業(yè)相比，增幅非常小。

“Other” 是許多其他行業(yè)的組合，其上升趨勢最大，因為它結合了“Other” 類別中每個行業(yè)的趨勢。因此，我們不能得出“Other”的確有最大的上升趨勢的結論。

使用數(shù)據(jù)科學的行業(yè)的上升趨勢就像指數(shù)一樣，它與跨行業(yè)的數(shù)據(jù)也在以指數(shù)的方式被創(chuàng)造密切相關。

行業(yè)內(nèi)數(shù)據(jù)的創(chuàng)造和交換的增加意味著，行業(yè)需要更多的數(shù)據(jù)科學專家來保管和處理數(shù)據(jù)，以數(shù)據(jù)為參考，從而在不同的行業(yè)中為各自的業(yè)務做出更好、更明智的決策。

根據(jù)每個行業(yè)的需要、需求、地理位置和市場，數(shù)據(jù)科學專家的需求以不同的速度增長。因此，2014年之后，幾乎所有行業(yè)都在使用數(shù)據(jù)科學。

5. 近年來，不同行業(yè)的數(shù)據(jù)科學界的發(fā)展趨勢是什么?

從上面的圖中，我們可以觀察得到以下結論：

在2011年，并不是所有排名前十的行業(yè)都在使用數(shù)據(jù)科學。10個行業(yè)中有3個行業(yè)的數(shù)據(jù)科學專家比例為0。

2011年，軟件產(chǎn)品在數(shù)據(jù)科學界的份額最高，為30%，其次是咨詢和金融/銀行業(yè)，各占20%，這3個行業(yè)占數(shù)據(jù)科學專家份額的70%。其余30%的份額中，其他行業(yè)和教育行業(yè)各占10%，醫(yī)療和制造業(yè)各占5%。

直到2013/2014年，媒體/廣告，互聯(lián)網(wǎng)，政府才開始占有份額。

隨著時間的推移，前十大行業(yè)的數(shù)據(jù)科學社區(qū)所占的份額也在不斷上升和下降。多年間這些行業(yè)所占比例的差異越來越小。

從那以后，其他行業(yè)也開始有了自己的份額，軟件產(chǎn)品、咨詢、金融/銀行業(yè)在數(shù)據(jù)科學領域的份額逐年下降。

從圖中我們還可以看出，數(shù)據(jù)科學專家所在的 “Other” 行業(yè)，可能是指各種研究不同、藥品、醫(yī)療、電子商務、建筑、運輸、保險、旅行和酒店、公用事業(yè)、自然資源和能源等的增長超過了其他行業(yè)。在2011年之后，該行業(yè)一直位居前兩位。這意味著數(shù)據(jù)科學在許多其他行業(yè)中得到了應用，而不僅僅局限于少數(shù)行業(yè)。

2014年以后，各個行業(yè)在數(shù)據(jù)科學的使用上保持了一致性，各行業(yè)的數(shù)據(jù)科學專家份額約為3%至18%。

2011年使用數(shù)據(jù)科學的行業(yè)份額差異更大，而且這一份額差異逐年下降，2018年，行業(yè)份額差異變小，這意味著前十大行業(yè)中的每一個都在使用數(shù)據(jù)科學，但根據(jù)每個行業(yè)的地理位置、需求和市場的不同，所占份額也有所不同。

6. 在哪種類型的企業(yè)(小型、中型或大型)中，數(shù)據(jù)科學社區(qū)增長了? 比例是多少?

由于 Stack Overflow 在2014-2015年間沒有與企業(yè)規(guī)模相關的數(shù)據(jù)，我們使用了 2011-2013年 和 2016-2018年 兩個時間段來推測不同規(guī)模企業(yè)的數(shù)據(jù)科學專家的趨勢。此外，對于這兩個時間段，行業(yè)規(guī)模的類別也有所不同。

下圖是2011-2013年的觀察結果:

從以上對 2011-2013年使用數(shù)據(jù)科學的不同規(guī)模企業(yè)所占份額的可視化結果，我們可以得到較早期，即 2011-2013年間的以下結論：

這里小型企業(yè)是初創(chuàng)企業(yè) (1-25人)和成熟小企業(yè)(25-100人)的組合，中型企業(yè)是指中等規(guī)模 (100-999人)，大型企業(yè)是指財富500強 (1000+人)，我們可以作如下陳述：

1) 小型企業(yè)擁有35%的數(shù)據(jù)科學專家份額，中型企業(yè)占29%，大型企業(yè)占36%。

2) 2011-2013年中型企業(yè)擁有數(shù)據(jù)科學專家35人，略低于小型企業(yè)的42人，大型企業(yè)的43人。

因此，在2011-2013年，如果我們將初創(chuàng)企業(yè)和成熟的小企業(yè)視為小型企業(yè)，2011-2013年數(shù)據(jù)科學專家在不同規(guī)模企業(yè)中所占的份額分布大致相同。

以下是2016-2018年的觀察結果:

從以上對 2016-2018年 不同規(guī)模企業(yè)使用數(shù)據(jù)科學比例的可視化結果我們可以看出， 2016年到 2018年期間，小型企業(yè)（0-499名員工）擁有的數(shù)據(jù)科學專家遠遠超過中型企業(yè)（500-4999名員工）和大型企業(yè)（5000–10000+員工）。數(shù)據(jù)科學專家在小型企業(yè)中的比例是 65%，中型企業(yè)和大型企業(yè)中分別是 16.47% 和 18.22% 。

因此，大部分數(shù)據(jù)科學專家位于小型企業(yè)(1-499名員工)和超大型企業(yè)(10000+名員工)，兩者的份額之和為 79%，其余 21% 的份額位于其他企業(yè)(500-9999名員工)。因此，數(shù)據(jù)科學專家要么在小型企業(yè)工作，要么在超大型企業(yè)工作。

與 2011-2013年相比，2016-2018年期間，小型企業(yè)的數(shù)據(jù)科學專家份額有所上升，而中型和大型企業(yè)的數(shù)據(jù)科學專家份額有所下降。

下面可能是它發(fā)生的潛在原因：

到 2016年，數(shù)據(jù)科學已經(jīng)出現(xiàn)了面向未來的新技術。因此，現(xiàn)有的小型企業(yè)開始聘請越來越多的數(shù)據(jù)科學專家，就像大型企業(yè)在 2011-2013年所做的那樣，以便處理和保存不斷增長的數(shù)據(jù)，并能在各自的業(yè)務中做出明智的決策。

由于數(shù)據(jù)科學對全球各個行業(yè)都產(chǎn)生了巨大的影響，具備處理各行業(yè)數(shù)據(jù)科學需求能力的新的初創(chuàng)企業(yè)或小型公司紛紛涌現(xiàn)出來，它們聘請了具有數(shù)據(jù)科學技能的高素質專業(yè)人才。這些初創(chuàng)企業(yè)愿意為數(shù)據(jù)科學專家提供高待遇，因為這些小型組織知道，他們將從這些招聘中獲得回報和收益，因為數(shù)據(jù)會以指數(shù)方式增長，對數(shù)據(jù)的服務的處理、保存和理解的需求也將增加，從長遠來看會使小型企業(yè)受益匪淺。這導致了與 2011-2013年相比的小型企業(yè)中數(shù)據(jù)科學專家數(shù)量的增加。

自 2016-2018年以來，小型企業(yè)的數(shù)據(jù)科學專家份額逐年上升，而中型和大型企業(yè)的數(shù)據(jù)科學專家的比例有所下降。

7.近年來，不同規(guī)模的企業(yè)在數(shù)據(jù)科學領域的增長趨勢是什么?

以下是2011-2013年的觀察結果：

從上面的圖形，我們可以得到以下結論：

1) 2011年，初創(chuàng)企業(yè)(1-25人)和大型企業(yè)(1000+員工)在 4個類別中排名墊底，而到了 2013年，他們排名前兩位。

2) 類似地，2011年，成熟的小企業(yè)(25 - 100員工的)和中型企業(yè)(100 - 999)在 4個類別中排名前 2，而到了 2013年，他們排名墊底。

3) 因此，幾年間初創(chuàng)企業(yè)(1-25人)和大型企業(yè)(1000+人)的數(shù)據(jù)科學專家所占份額呈上升趨勢，而中型企業(yè)(25-100人)和成熟小企業(yè)(100-999人)的數(shù)據(jù)科學專家所占份額呈下降趨勢。

大型企業(yè)擁有更多數(shù)據(jù)科學專家的一個潛在原因是，大型企業(yè)在投入研究和開發(fā)，并對未來幾年將更有生產(chǎn)力、更高效和更廣泛應用的技術抱有愿景。

由于大型企業(yè)已經(jīng)知道每天的數(shù)據(jù)創(chuàng)造量呈指數(shù)級增長，他們雇傭了更多的數(shù)據(jù)科學專家，以便更好地處理和保存數(shù)據(jù)，并在各個業(yè)務中做出明智的決策。

另一方面，很少有初創(chuàng)企業(yè)是由一群預見到數(shù)據(jù)科學成為未來技術的潛力的志同道合的人創(chuàng)辦，并在 2011年至 2013年期間開始聘用數(shù)據(jù)科學專家。中型企業(yè)也聘用了數(shù)據(jù)科學專家，但專家的數(shù)量出現(xiàn)了上下波動。

此外，在 2011-2013年期間，數(shù)據(jù)科學專家的數(shù)量要少得多。因此，大型企業(yè)對罕見的擁有數(shù)據(jù)科學技能的數(shù)據(jù)科學專家的負擔能力更強。初創(chuàng)企業(yè)或許可能是由數(shù)據(jù)科學專家自己創(chuàng)辦的，因此他們不得不聘請志同道合的數(shù)據(jù)專家加入。因此，大型企業(yè)和初創(chuàng)企業(yè)的數(shù)據(jù)科學專家數(shù)量有所增加。

此外，與其他規(guī)模企業(yè)相比，大型企業(yè)擁有龐大的數(shù)據(jù)，大型企業(yè)對數(shù)據(jù)科學專家的需求比其他規(guī)模企業(yè)更大，從而雇傭的數(shù)據(jù)科學專家比其他規(guī)模企業(yè)更多。而對于初創(chuàng)企業(yè)來說，由于他們的形成只是由于未來數(shù)據(jù)科學的巨大潛力，所以更多的數(shù)據(jù)科學專家被雇到初創(chuàng)企業(yè)中。

以下是2016-2018年的觀察結果:

從上面的可視化圖中，我們可以觀察得到以下結論：

1) 小型企業(yè)(0-9,10-19,20-99,100-499人)呈逐年上升趨勢，中型企業(yè)(500-999,1000-4999)、大型企業(yè)(5000-9999,10000+)呈逐年下降趨勢。因此，從 2016-2018年開始，小型企業(yè)(1-499人)的數(shù)據(jù)科學專家數(shù)量在不同規(guī)模企業(yè)中所占的比例逐年上升，而中型企業(yè)(500-4999人)和大型企業(yè)(5000-10000 +員工)的數(shù)據(jù)科學專家所占比例逐年下降。

2) 2016-2018年間，超大型企業(yè)(10000+員工)在不同規(guī)模企業(yè)數(shù)據(jù)科學專家所占比例中每年都處于前 4 位。

因此，2016-2018年間，小型企業(yè)（0-499名員工）和超大型企業(yè)（10000+名員工）的數(shù)據(jù)科學專家數(shù)量在不同規(guī)模企業(yè)的總和中占有最多比例。

總結

因此，綜合所有問題的答案，根據(jù) 2011-2018年 Stack Overflow survey 的數(shù)據(jù)，我們可以得到：

隨著數(shù)據(jù)以驚人的速度增長，明智的選擇是注意這一點 —— 不可以忽視數(shù)據(jù)革命。

在數(shù)據(jù)高速增長的背景下，對數(shù)據(jù)科學專家的需求也在快速增長，但根據(jù)每個國家和行業(yè)的需求、地理位置和市場的不同，其增長速度也不同。

數(shù)據(jù)科學專家主要分布在美國，接著是印度、德國、英國、加拿大等其他國家。

幾乎所有行業(yè)都在或多或少地使用數(shù)據(jù)科學，而其主要應用在軟件產(chǎn)品、金融和銀行業(yè)、咨詢、醫(yī)療和教育等行業(yè)。

到2018年底，不同規(guī)模的企業(yè)中，小型企業(yè)(0-499名員工)和特大型企業(yè)(10000多名員工) 的數(shù)據(jù)科學專家所占份額最大。

雖然在某一時刻，數(shù)據(jù)爆炸可能會開始放緩，但事實是企業(yè)和消費者每天每秒都在不斷地創(chuàng)造新的信息。企業(yè)需要創(chuàng)建、存儲、管理和分析手邊的大量數(shù)據(jù)，對于所有行業(yè)來說，這都提供了數(shù)據(jù)科學項目的業(yè)務需求。