科系解析

首頁 > 顧問講座 > 科系解析


著名的哈佛商業評論在2012年10月出版雜誌裡有一篇著名的文章(Data Scientist: The Sexiest Job of the 21st Century),以全面的角度帶出資料科學家這個新興行業的技能、稀缺性、在組織裡的重要性和市場發展等方面的看法,帶動了資料科學家這個角色,且熱潮延續至今。

 

隨著全世界許多國家將大數據(Big Data)、人工智慧(Artificial Intelligence)等技術提升到國家戰略高度,大數據、資料科學家、人工智慧等名詞也在媒體大量曝光,再加上近年人工智慧等技術的高速發展,大大提升了企業以至公眾對資料應用的興趣,資料科學這一個新興的學科因此產生。

 

在產業面,許多公司早已意識到巨量資料的重要,比如很多金融機構利用公司的資料資料庫,在市場上尋求商業效益。亞馬遜、阿里巴巴等互聯網企業利用資料採擷(Data Mining)技術,推送產品資訊、發現潛在消費客戶。

 

早期因為樣本數取得不易,只能用少數有效的樣本來推論母體,也因此必須做許多機率模型來加以驗證推論的準確性,催生了目前的統計學。但是現今的電腦、網路及手機時代,每天產生巨量資料,因此獲得大量資料變得容易許多,計算機科學的進步也使得分析大量資料變得可能。

 

正因為資料在網路時代出現了爆發性的成長,樣本不再是隨機產生,而是拿全部的資料和即時增加的新的資料來加以分析,因此資料間可能有高度相關性,以及複雜的時間序列,所以相較傳統統計來說,要用多個分析方法,譬如預測性分析(Predictive Analytics)。

 

換句話說,(傳統)統計與資料科學家處理的大數據雖然有些領域重疊,甚至界線模糊,不過還是存在不小的差異。譬如統計的樣本是隨機抽樣,大部分為靜態分析;相對而言,大資料為並非隨機,大部分數據為非結構化,也就是存在各種不同格式,而且彼此間有關連,分析屬於動態分析,隨時有即時資料加入。

 

其實,在"資料科學家"這個新興職位出現之前,有些公司已經有了處理、分析各種行業資料的職稱,一般都會用資料分析師(Data Analyst)、商業分析師(Business Analyst)、統計學家(Statistician)或者電腦科學家(Computer Scientist)等職稱。

 

但隨著近年企業可收集的資料變得越多越複雜,這就造成了一個新問題。數學統計出身的分析師,擅長利用各種分析技巧及統計學模型去解釋、演繹資料,但對如何有效整理大量多樣化資料卻毫無頭緒。另一方面,計算機科學出身的人員善於透過程式設計整合和整理不同來源的資料,提升分析海量資料的效率,但對於如何把原始資料轉化為有價值的資訊卻不是他們的專長。

 

資料科學家正是同時具備這些需求,可以說是資料工程、資料分析兩者的綜合體。另外,和過去在做商業智慧、統計分析的差別也在於,現在有更多創新的作法可以應用、分析資料,譬如機器學習、視覺化工具等。可以說,資料科學家的任務,就是為資料賦予價值,因此除了要具備資料探勘等統計應用知識、熟悉資料分析工具操作,還得深入瞭解企業內的業務與組織,針對各種問題對症下藥、提供解方。

 

資料科學家並不是單純處理和分析資料,同時也要判斷正確性,並且依此做出決策,而這時就需要專有知識的協助。不過現今的行業包羅萬象,各行各業專有知識差異很大,資料科學家通常會選定特定的專業進行分析。因此,一般學校課程設計時,會以資料科學需要融合三個範疇的知識來考慮,即數學與統計 、程式設計與計算機科學以及行業知識。

 

目前各種產業都缺大資料人才,使得資料科學家近年成為零售業、科技業、媒體業,甚至金融業爭相雇用的寵兒,紛紛在尋找或訓練這類有能力分析大量資料的專家。




TOP

Information

留學資訊