Python/ target=_blank class=infotextkey>Python標準庫已經(jīng)提供了性能分析所需的工具，即cProfile。本文將向你展示如何使用cProfile，以可視化的方式快速識別代碼中哪些部分計算開銷最高，并且應該優(yōu)先進行優(yōu)化。
帕累托法則無處不在，它說：
“在大多數(shù)情況下，80%的結果來自于20%的原因。”
作為一名程序員，當代碼運行速度不盡如人意時，就需要花費大量時間對代碼進行相應的重構。但在許多情況下，所得到的速度提升并不值得花費的精力。
Python標準庫已經(jīng)提供了性能分析所需的工具，即cProfile。本文將向你展示如何使用cProfile，以可視化的方式快速識別代碼中哪些部分計算開銷最高，并且應該優(yōu)先進行優(yōu)化。
安裝
cProfile
cProfile是我們將用來測量代碼的各個部分所需時間的工具，它是Python標準庫的一部分，因此無需安裝。
QCachegrind
QCachegrind將負責可視化cProfile的輸出結果，將能夠快速觀察到性能瓶頸所在。
macOS 用戶
請檢查你是否已經(jīng)安裝了Homebrew。如果沒有安裝，請使用以下命令進行安裝：
ruby -e “$(curl -fsSL https://raw.Githubusercontent.com/Homebrew/install/master/install)" < /dev/null 2> /dev/null
然后你可以安裝QCachegrind
brew install qcachegrind
其他用戶
對于其他操作系統(tǒng)的用戶，推薦Pyprof2calltree工具。
Pyprof2calltree
Pyprof2calltree將使用cProfile收集的分析數(shù)據(jù)轉(zhuǎn)換為QCachegrind可以讀取的格式。
安裝方法如下：
pip install pyprof2calltree
方法
完成安裝后，進入包含Python腳本的文件夾。
包含要優(yōu)化的腳本的文件夾
測量
我們使用cProfile來測量腳本不同部分的運行時間，并將結果保存在一個名為medium_example.profile的文件中（可以選擇使用任何名稱，只要它是.profile文件）：
python -m cProfile -o medium_example.profile 1_generate_ML_data.py
正如你所看到的，medium_example.profile文件已添加到文件夾中：
該文件包含了運行腳本中所涉及的不同函數(shù)的運行時間。
可視化
現(xiàn)在，我們可以將cProfile的測量結果可視化：
pyprof2calltree -k -i medium_example.profile
QCachegrind的用戶界面包含了與所有相關函數(shù)的執(zhí)行時間有關的信息：紅色的是“Flat Profile”（左側），藍色的是“Callers”（右上方），綠色的是“Callees”（右下方）。
這個用戶界面展示的內(nèi)容較多。接下來本文會逐一解釋所有這些內(nèi)容的含義。
- “Flat Profile” 面板出現(xiàn)在左側，按時間消耗的降序排列提供了完整的函數(shù)調(diào)用列表。“Incl.” 列顯示每個函數(shù)消耗的總時間，考慮到其被調(diào)用者花費的時間。
- “Self” 列顯示僅在函數(shù)本身內(nèi)部花費的時間，不包括其被調(diào)用者花費的時間。
- “Called” 列顯示函數(shù)被調(diào)用的次數(shù)，而“Function” 列則顯示函數(shù)的名稱，包括其命名空間。
- “Callers” 面板（右上方）顯示調(diào)用所選函數(shù)的函數(shù)列表，以及在每個調(diào)用者函數(shù)中花費的時間。
- 另一方面，“Callees” 面板（右下方）顯示由所選函數(shù)調(diào)用的函數(shù)列表，以及每個被調(diào)用者函數(shù)中花費的時間。通過優(yōu)化這些被調(diào)用者函數(shù)，你可以提高所選函數(shù)的性能。
現(xiàn)在你知道如何解讀用戶界面，接下來展示如何使用它來找到性能瓶頸。
利用QCachegrind用戶界面識別性能瓶頸
在“Flat Profile”面板的搜索欄中，輸入builtins.exec，然后選擇函數(shù)<Built-in method builtins.exec>。
在“Callees”面板中，選擇應該占用所有（~100%）的執(zhí)行時間的第一個函數(shù)。它是你之前執(zhí)行的腳本的入口點。
然后，該函數(shù)會被移到“Callers”面板上，并刷新“Callees”面板顯示其中調(diào)用的函數(shù)。
在本示例中，96.52%的執(zhí)行時間來自函數(shù)generate_all_season_games_features。
如果想再深入一級，可以選擇該函數(shù)。它再次被移到“Callers”面板上，而“Callees”面板則顯示了被調(diào)用的函數(shù)。
看起來，42.73%的執(zhí)行時間來自于generate_results_hometeam_current_season，而42.57%的執(zhí)行時間來自于generate_resukts_awayteam_current_season。
由于它們對速度的影響相同，我可以選擇處理其中的任意一個函數(shù)。
或者，如果需要的話，可以更深入地調(diào)查一級。
優(yōu)化
建議從優(yōu)化耗時最長的函數(shù)開始。所需的重構對代碼來說將是非常具體的。以下是一些典型優(yōu)化的示例：
- 將嵌套的for循環(huán)轉(zhuǎn)換為單個for循環(huán)。
- 實現(xiàn)多進程。
- 使用向量化。
重復進行
當應用了第一個優(yōu)化后，可以根據(jù)實際需要多次進行測量-可視化-優(yōu)化周期，以達到符合要求的總運行時間。
結論
當涉及到優(yōu)化代碼時，遵循數(shù)據(jù)驅(qū)動的方法，能確保在不進行太多猜測和浪費時間的情況下，取得快速進展。
