今年 3 月 14 日，OpenAI 發布了新“核彈”——GPT-4。OpenAI 聯合創始人 Sam Altman 表示，GPT-4 是“迄今為止功能最強大的語言模型”。與上一代相比，GPT-4 更強大更可靠，且更有創造性。
GPT-4 的發布讓更多的人意識到，在聊天之外，人工智能的能力已不斷擴展，并引發了部分人群對職業危機的擔憂。有開發者擔心，在未來的幾十年內，AI 會循序漸進地取代一些開發崗位。
不過，GPT-4 的“野心”似乎不止于此，“取代程序員”浪潮未過，新一輪“取代潮”已經掀起。這一次，GPT-4 瞄準了年薪 60 萬的數據分析師。
近日，阿里達摩院與新加坡南洋理工大學發布了一個關于用 GPT-4 取代數據分析師的成本核算的研究論文。論文指出，隨著 LLM 的興起和流行，不僅在 NLP 社區，其他諸多領域的人們都在考慮、或者擔心自己的崗位可能被 AI 所取代。其中數據分析師成為 AI 時代下“首當其沖”的取代對象。
論文認為，數據分析師的主要工作內容就是從業務數據中識別出有意義的模式和趨勢，并為利益相關者提供有價值的見解、協助制定戰略決策。為了實現這個目標，數據分析師必須具備多種技能，包括 SQL 查詢編寫、數據清洗和轉換、可視化生成和數據分析。由于工作流程相對較為固化確定，因此公眾對于 AI 是否將取代數據分析師展開了激烈討論。
論文指出：“除了所有數據分析師和 GPT-4 之間的可比績效外，我們可以注意到 GPT-4 所花費的時間要比人類數據分析師短得多。我們假設每個月有大約 21 個工作日，每天工作 8 小時左右，并根據每個級別的數據分析師所花費的平均時間計算出每個實例在美元方面的成本。GPT-4 的成本約為初級數據分析師成本的 0.71%和高級數據分析師成本的 0.45%。”
在脈脈上，不少數據分析師崗位給到了月薪 40k 以上，以高級數據分析師年薪 60 萬元為例，GPT-4 的成本大概在 2700 元左右。
作為數據分析師，GPT-4 大概是什么水平?
在論文中，研究人員試圖分析：作為數據分析師，GPT-4 大概是個什么水平?
首先，研究人員將數據分析師的主要工作內容分成三個步驟：
數據收集：主要包括理解業務需求，并決定哪些數據源與需求有所關聯。確定了相關數據后，分析師就可以通過 SQL 查詢或其他工具提取所需的數據。
數據可視化：創建視覺輔助工具，例如圖形和圖表，借此高效傳達見解。
數據分析：在數據分析階段，分析師可能需要確定不同數據點之間的關聯性，識別異常和異常值，并跟蹤隨時間而變化的趨勢。在此過程中得出的見解，可以通過書面報告或演示文稿的形式傳達給利益相關者。
根據數據分析師的主要工作范圍，研究人員專門設計了一個 GPT-4 數據分析師模擬流程。如下圖所示，其中，業務問題和數據庫等強制輸入信息顯示在右上角的藍色框內，參考的外部知識源作為可選輸入則位于左上角的紅色虛線框內。下方綠色框中的是提取數據(data.txt)、數據可視化(figure.pdf)和分析等輸出結果。
圖1
具體而言，給定一個與業務相關的問題(q)和一個或多個相關數據庫表(d)及其模式(s)。目標是提取所需數據(D)，生成可視化圖表(G)，并提供分析和見解(A)。
根據給定問題，分析師需要從數據庫中挑選出生成圖表所需要的數據，并對這些數據做有意義的組織排列。例如，“請展示散點圖中身高和體重之間的相關性”。可以看到，問題中還包含了圖表類型信息，因此應當根據數據的性質和所提問題選擇合適的圖表類型，并使用合適的軟件或編程語言生成圖表。最后，需要分析數據以確定有助于回答問題的趨勢、模式和見解。
研究人員希望使用 GPT-4 實現整個數據分析過程的自動化，并按圖 1 所示的步驟進行。這主要涉及三個步驟：代碼生成(藍色箭頭所示)、代碼執行(橙色箭頭所示、分析生成(綠色箭頭所示)。該框架的算法如下圖所示：
圖2
為了判斷 GPT-4 作為數據分析師的水平如何，研究人員選取了 200 個樣本，并對 GPT-4 的輸出進行了系統且專業的人工評估，整個評估共分為兩組。研究人員主要通過以下指標，對 LLM 的數據分析能力做定量評估：性能、時間和成本。具體來說，研究人員讓 GPT-4 作為數據分析師解決幾個端到端數據分析問題。由于此類數據分析問題沒有可供參考的現成數據集，所以研究人員選擇了相關度最高的數據集 NvBench，并在其中添加了數據分析部分。研究人員還設計了幾項自動和人工評估指標，用以綜合評估提取的數據、繪制的圖表和生成的數據分析結論的實際質量。
圖3
結果發現，在正確選取圖表類型方面，兩個評估組幾乎都拿下了滿分。這說明對于“繪制條形圖”、“顯示餅狀圖”等簡單明了的指令，GPT-4 能夠輕松理解其含義，并結合關于圖表類型的背景知識正確繪制出適合的圖表。在美學得分方面，GPT-4 的平均得分為 2.73 分(滿分 3 分)，這表明生成的大部分圖形對受眾來說清晰、不存在格式錯誤。但在所繪制圖表的信息正確性方面，GPT-4 的得分無法令人滿意。研究人員手動檢查了這些圖表，從中發現了一些小錯誤，但大部分圖表仍給出了基本正確的數字。研究人員的評估標準非常嚴格，只要任何數據或者 x 軸/y 軸標簽有誤就必須扣分。從這個角度看，GPT-4 的工作能力仍有進一步改進的空間。
在對分析能力的評估方面，GPT-4 的對齊度和流暢度均獲得滿分。這再次證明 GPT-4 特別善于生成順暢且語法正確的句子。不過，分析的平均正確性分數遠高于數字的信息正確性分數，也就是說，GPT-4 可能會生成錯誤數字，但分析結論卻是正確的。圖表當中只有少數會產生重要影響的數據錯誤點。而在復雜度得分上，GPT-4 的 2.16 分(滿分 3 分)也合理且令人滿意。
人類數據分析師 VS GPT-4，誰更勝一籌?
同樣的任務，專業的數據分析師會做得比 GPT-4 更好嗎?
為了對比 GPT-4 與人類數據分析師的表現，研究人員聘請了幾位不同背景的專業數據分析師重復完成任務，并與 GPT-4 做了全面比較。結果發現，總體來看，GPT-4 的表現與人類數據分析師基本相當，但雙方在不同指標上各有優勢側重。
圖4
圖 4 第一部分表示一位在金融行業有 6 年以上工作經驗的高級數據分析師(Senior Data Analyst 1)在 10 個樣本上的表現。從表中可以看到，GPT-4 的性能在大多數指標上都與這位專業分析師相當。雖然 GPT-4 的正確性得分比人類分析師低，但復雜度得分和對齊度得分更高。
第二部分為 GPT-4 同另一位在互聯網領域擁有 5 年以上經驗的高級數據分析師(Senior Data Analyst 2)在 8 個樣本上的性能比較。由于樣本量相對較小，結果顯示人類分析師與 AI 之間存在較大差異。人類分析師在信息正確性、圖形美觀性、見解正確性和復雜度等方面均超過了 GPT-4，表明大語言模型仍有改進的空間。
第三部分比較了 GPT-4 同一位在咨詢公司工作不足 2 年的初級數據分析師間在 9 個隨機樣本上的性能。GPT-4 不僅在數字和分析正確性上表現更好，而且也比人類分析師更傾向于生成較為復雜的分析結論。
此外，研究人員還對比了 GPT-4 與人類分析師所需的成本，結果發現 GPT-4 花費的時間比人類分析師短得多。
圖5
圖 5 為不同受試方之間的成本比較。研究人員從 level.fyi 提取了新加坡數據分析師的年薪中位數，從 Glassdoor 查到了新加坡數據分析師的平均年薪。假定每個月約有 21 個工作日，每天工作 8 個小時左右，并按不同級別的數據分析師平均花費的時間來計算各個實例的具體成本(以美元計價)。最終結果是：在根據市場價格為各位數據分析師計費時，GPT-4 的成本約是初級數據分析師的 0.71%，是高級數據分析師的 0.45%。
GPT-4 這樣的大語言模型真能取代人類數據分析師嗎?在論文的結尾，研究人員并未給出明確結論。雖然從分析結果來看，GPT-4 的實際表現幾乎與人類相當，并且所需的成本更低，但能否全面取代人類數據分析師仍需要進一步研究。
本文轉載來源：
https://www.infoq.cn/news/6LAGtDef93ytGip8YVd1
