一、因果推斷與大模型
近年來，因果推斷成為研究的熱點，在眾多場景都有應用。其在數據分析等領域具有非常強的優勢，強調因果性而非將相關性作為根本出發點，更有助于識別偽相關信息。
在建立模型時，以因果角度為出發點，模型具有更好的泛化和遷移能力，適用眾多業務場景。比如優惠券營銷提升用戶轉化，或者進行企業宏觀指標的因果探索分析，觀測不同指標之間的因果關系，為企業提供運營手段方向的決策幫助。因果效應估計和反事實推斷為決策提供了有力支持。
因果推斷的實踐目前主要包括五方面：因果發現、因果量的識別、因果效應估計、反事實推斷和策略學習。其中，因果發現和因果效應估計是當前比較主流且容易落地的應用場景，包括 Uplift 模型也歸屬于因果效應估計的領域。而反事實推斷是業界的難點，在缺乏反事實數據的情況下，對算法的研發和場景落地的準確性都具有挑戰。
從去年底開始到今年初，ChatGPT 在智能能力方面取得了質的飛躍，對于情感分類和文本摘要等任務表現出了驚艷的效果。那么，是否能將最新的大模型與因果推斷相結合呢？
從能力上來分析，隨著參數量和規模的增大，大語言模型涌現出了突出的能力。上圖中列舉了部分大模型涌現能力，可以助力大模型與因果推斷相結合。例如，上下文能力，大模型擁有在非常長的上下文 context 的兼容能力，有助于實現多輪對話和構建更多的大型模型能力；角色扮演能力，大模型可以扮演數據分析師的角色，幫助用戶實現因果推斷等任務，甚至可以讓它扮演 SQL 連接終端或共享終端，用戶在里面輸入一些命令，即可得到非常真實的反饋。大模型帶來了很多想象空間和可行性空間。
此外，大模型一個非常重要的能力是工具應用能力，包括理解 API、調用 API 以及調用搜索引擎或者生成 SQL 等等，目前這些能力已經成為普遍公認的大模型涌現能力。基于這些能力，可以將大模型的涌現能力與因果推斷相連接。
在實際項目和產品研發中，進行了探索并總結出了三條線。圖中最上層包括因果發現、因果效應估計和反事實推斷，可以理解成現實中因果推斷的常見任務。最左下角是大語言模型，通過三條線，可以把兩者相連。
最左邊一條線是通過因果圖的方式，用大模型對因果圖進行增強識別。利用因果發現算法與大模型相結合，以獲取更精準的因果圖。
第二條線則聚焦于 Agent，利用大模型的智能基礎及其工具使用能力，配合外部工具，綜合構建一個智能代理，幫助用戶完成一些因果推斷任務。
第三條線是 ABM（agent base modeling）基于代理的建模，通過多個智能體之間的相互交互形成現實生活中的場景，即形成一個仿真生態，進而輔助策略的研究和探索。
二、大模型助力因果發現
首先來看第一種連接方式，大模型助力因果發現。
因果發現的核心在于通過擬合的方法和實測數據找出數據特征之間的因果關系。因果發現對于某些業務場景非常適用，比如客戶流失分析，可以通過定性的方式確定客戶流失的原因及核心因素。因果發現算法在實際應用當中，常常面臨一些挑戰。比如不可觀測變量的數據集，這些變量可能會影響對因果關系的探索，實踐中都是在有限特征的數據下盡可能地學習真實的因果關系，以此完成因果關系的定性分析。
上圖右側給出了一個實際案例。在一個銀行 ABM 系統獲取的數據，形成了銀行企業宏觀月度指標數據。通過融合多種因果發現算法幫助找到數據特征之間的因果關系。
再舉一個例子，假設在一次營銷活動中，業務上希望了解哪些特征會影響客戶的購物行為，例如優惠券等。通過因果發現算法，可以找到特征之間的因果關系，并發現客戶是否購買。然而，在實踐中仍然面臨一些問題和挑戰：
- 未觀測因子，限于數據本身，往往需要在有限的特征下找出因果關系；
- 準確率不夠高，甚至有時會出現不合理的因果關系；
- 經驗不足，當面臨一個新的知識領域時，特別是不了解數據和特征的情況下，會無法理解和判斷因果關系。
如何將大模型與因果發現的方法相融合呢？目前正在實踐中的方法如上圖所示。從基礎的數據中，通過多種因果發現方法，得到初步的因果圖。基于此，可以依賴于大模型的涌現能力和外部工具，對因果圖進行識別、甄別、解釋和推薦，從而得到更加準確的因果圖。
經過項目的實踐和探索，總結了四個重點：因果關系的識別、因果方向的識別、因果關系的解釋和因果關系的推薦，并圍繞大模型的這四點能力構建了因果發現關系增強流程。在這個流程下，大模型被用來驅動各種因果推斷任務，幫助用戶獲得更精準的因果圖。
對因果圖中的因果關系進行甄別與分類，利用大模型的因果區分能力，區分出錯誤的因果關系、方向相反的因果關系、不確定的關系等，然后使用這些分類結果來進行因果圖的針對性修正。
因果方向的識別，可以利用大模型對二元因果關系的方向進行確認，這種方法可以幫助用戶避免找出反向的因果關系。
因果關系解讀和推薦適用于那些面對陌生領域，人工識別因果關系非常困難和具有挑戰的情況。在這種情況下，可以采用領域大模型來幫助發現業務的合理性。
因果解讀，在實踐中進行建模時，如果有一個目標特征作為果特征，可以將此特征與一級或二級的因果關系提取出來，然后讓大模型給出相應的因果解讀，對于一些剛入行、數據了解程度有限和科研程度經驗不足的同學來說，具有非常好的幫助作用。因果關系的推薦，大模型可以基于既有經驗給出影響目標變量的關鍵因果關系推薦建議，可以從因果的視角找到更核心的關鍵因素，進一步強化因果發現算法的準確性。
三、基于大模型代理的因果推斷
接下來介紹基于大模型的代理。
大模型具備很多能力，可以根據其智能能力和工具應用能力，結合外部工具，構建一個智能體代理，來幫助業務用戶解決問題，或者通過指令指導智能體代理去完成所要做的很多復雜的工作。
將因果推斷與智能體結合，構建了一個因果推斷的智能代理，可以執行因果推斷方向和領域探索的任務。其具備的能力包括：
- 角色扮演能力，大模型可以扮演因果推斷專家、數據統計分析師、業務分析師等角色，設定好大模型的角色、任務和目標，幫助用戶完成某些職能。
- 記憶能力，依賴大模型本身的記憶能力和上下文能力，可以讓大模型具記憶能力。通過該能力可以實現多輪對話功能，幫助用戶實現上下文的多輪溝通以及問題的解決；也可將歷史的經驗進行記憶，面臨問題的時候，基于這個經驗去更好、更高效地完成相應的因果推斷任務。
- 問題解決能力，大模型具備思考和計劃能力等解決問題的關鍵能力。對于用戶提出的的問題，往往需要經過深思熟慮，最后再給出分析與回答。因此，大模型的思考能力非常重要，包括思考能力、計劃能力、反思能力等。
- 工具應用能力。如果一個模型只能用于本身設計的問答系統中，那么它的應用能力就被限制了。得益于大模型的工具應用能力，其能力得到了極大的拓展。大模型可以理解 API、生成代碼、進行搜索引擎以及進行識別和檢索。這些應用能力極大地提高了模型的實用性和靈活性。
- Coding 能力，這是現在大模型應用外部工具的主要手段。
- Action 能力，大模型對于當前任務或會話，為業務用戶提供簡要回答、總結報告或具體操作的反饋。
舉一個具體例子，在營銷領域中，往往注重分析投入產出比例，即 ROI。可以通過智能代理詢問數據的情況以及它具有的特征含義，并獲得相應的建議。其次，可以將 ROI 的計算交給智能代理，通過自然語言的方式進行外部數據輸入，并進行 ROI 計算。九章云極開發和驗證了智能代理反事實推斷的能力，采用 Uplift 模型對未來事件進行預測和統計分析。如果是嘗試面向決策，例如想舉辦一次營銷活動并預算一定的金額，可以請求智能代理推薦相應的名單，并計算 ROI。未來，智能推斷的代理將完成各種領域的任務。
智能體代理嵌入因果推斷能力具有非常大的優勢。相比以往企業級的建模流程，需要經歷場景需求、業務部門、建模團隊和數據團隊之間的溝通和加工，智能體代理以更友好的自然語言交流方式輔助業務人員進行實時的因果推斷分析和決策，具有更好的實時性和業務友好性。因此，智能體代理的操作更加方便、智能，有助于提高工作效率。
四、LLM-Powered ABM 助力因果推斷
"LLM-Powered ABM"意為通過大語言模型模仿代理(或智能體代理),是一種具有類似人類行為的可信賴的虛擬實體,能夠模擬人類的行為和決策,以便在虛擬環境中與用戶或其他代理進行交互。這種智能體代理通常被用于模擬虛擬世界、仿真研究、自動化決策和其他應用中，對于提升用戶體驗、社會觀察研究等有非常大的幫助。
LLM-Powered ABM 旨在通過以大模型為基礎的 ABM 去助力因果推斷，ABM 的核心是基于智能體或代理的仿真環境建模。在過去的建模中，ABM 的建模方式主要依賴于規則和專家業務經驗，但是，現在有了大模型，可以將其作為智能代理的核心，模擬人類的行為和決策，并構建一個仿真運行的生態。ABM 有三個非常重要的優勢：
- 虛擬助手，即它可以同時包含多個不同的智能代理，并且智能代理之間不需要滿足 ID 條件，而是形成一個良好的智能體環境。多智能體代理可以用作虛擬助手,幫助用戶解決問題、提供信息，或執行任務，如聊天機器人、虛擬客服等。
- 推演與決策，可以用于社會科學、心理學、經濟學和其他研究領域，以模擬人類行為，進行實驗和觀察。在 ABM 中，由于有一個完整的環境，用戶可以觀察到整個環境下不同利潤水平和購買理財產品等行為的變化。同時也可以進行相應的干預，向特定客戶單獨發送優惠券，或給銀行一些指標設置優惠券，并觀察它們在未來的運營和經濟表現中的變化。
- 自動化決策和規劃，在自動化領域，多智能體代理可以用于自動規劃和決策。例如在公共交通領域中，自動駕駛汽車中的智能代理，或者供應鏈管理中的協調代理。
選擇 LLM-Powered ABM 的出發點在于它能夠為因果研究和決策研究提供很多幫助。如上圖，基于大模型代理的 ABM 系統中包括許多不同的智能體。在智能體系統中，每個代理角色在不同的時間點會發生不同事件，系統會以自然語言形式產出多角色對話或故事。通過大模型可以對整個仿真環境產生的段落進行數據的提取。
數據特性方面，ABM 環境下具有以下 3 個特點：
- 數據完整性，可以獲取更完整的特征，全部特征都可以被捕獲并形成數據集，這在未來可以作為因果推斷算法和決策研究的基礎。
- 保存因果關系，在基于大模型的 ABM 系統中，不僅可以記錄購買理財產品的行為，還可以存儲當時客戶的決策因子。真實業務中非常追求因果關系，這個關系可以從 ABM 系統中抽取出來。
- 反事實數據，ABM 系統具有仿真實際數據的可干預性，這意味著可以不斷地干預和推演整個環境。
基于大模型的 ABM 在仿真性方面有很大的優勢，每個代理可以作為一個智能體代理來做個性化的經營決策。同時，可干預性也是非常重要的優勢，這意味著可以盡可能地獲取完整的數據，包括因果數據。
在項目中進行了實踐和嘗試，不僅能夠獲得決策建立的因果決策因子，還可以對決策因子進行排序。最后，可以獲得反事實數據和時序反事實數據，相對于現有的相關研究，ABM 的數據范圍和視角有很大的優勢。
相比傳統的數據獲取方法，使用基于大模型的 ABM 時，數據獲取有得天獨厚的優勢。比如受到成本和其他因素的限制，通常只能獲取到真實世界全量數據 Global Data 中的一個非常小的子集。在 ABM 中，可以抽取因果關系，獲取現實中無法觀測到的數據，包括 Global Data 和 Collectable Data 都可以使用。ABM 對于算法研究和業務推斷都有非常大助力。
舉個例子，對于因果效應估計應用和進行算法研究與評估，需要考慮幾個方面，首先是確定用哪些數據來進行訓練，其次利用什么樣的數據來評估算法的準確性，最后需要選擇評估指標，以保證算法的可靠性。
現在可以獲取更多的特征，包括以前無法獲取的客戶喜好特征和家庭知識特征，都可以將它們納入模型中，因此可以使用全量特征進行算法研究。在完整特征下進行評估時，可以從中提取更完整的因果關系。在評估階段，我們更注重獲取反事實結果并使用不同的評估方法。除了因果常用的一些序指標(如 AuuC 和 Gini) 和針對回歸任務的 RLoss，在 ABM 中獲取的數據下，還可以使用更常見的 Rmse 等指標。在 ABM 下，可以將更多特征納入模型，并在獲得因果關系以及相關優先級信息后，使用這個視角去評估得出的因果估計算法的準確性。
基于大模型 ABM 獲取的數據具有廣泛的應用和研究價值，不僅適用于因果推斷領域，也可以在統計分析、機器學習、貝葉斯網絡、深度學習等領域中為我們帶來助力。
五、YLearn & Causal Lab
最后，分享兩個九章云極 DataCanvas 在因果方向開源的成果。
YLearn 因果學習軟件可以幫助用戶完成因果推斷的五個主要任務，包括因果發現、因果量的識別、因果效應估計、反事實推斷和策略學習，其中也支持 Uplift 建模，用戶可以一站式完成因果推斷場景的所有任務。同時 YLearn 提供了非常簡潔的 API，大家可以輕易上手實踐并落地。
YLearn因果學習軟件 Github 地址：https://github.com/DataCanvasIO/YLearn。
Causal Lab，交互式因果分析框架。這個框架以 YLearn 作為基礎，可以幫助用戶完成因果推斷的全流程任務，包括因果發現，貝葉斯網絡學習以及因果效應估計。其中非常有用的是，提供了可視化工具，可以幫助用戶進行因果發現的交互模式。框架融合了多種算法，并支持動態的學習過程，從而找到更精準的業務關系，以便于構建更精準的貝葉斯網絡。用戶還可以對因果關系進行相應的調整和修改。最后，該框架還提供了基于校驗估計的探索。
Causal Lab GitHub 地址：https://github.com/DataCanvasIO/CausalLab。
