我們正處于安全關鍵軟件的成本危機中?，F(xiàn)在需要的增加的功能已經(jīng)超出了支付其開發(fā)費用的能力。例如， 波音 787 計劃需要 650 萬行代碼，設計、開發(fā)和測試花費了 40 億美元。

主要安全關鍵項目的趨勢顯示總成本呈指數(shù)級增長，軟件在年度開發(fā)總預算中占較大比例。使用以前項目中使用的相同技術，下一個大型航空航天項目可能無法負擔。所以，我們能做些什么？

安全認證以及所需的測試和驗證是軟件開發(fā)預算的很大一部分。在開發(fā)生命周期的早期開始軟件測試，同時利用自動化在成本、風險和進度方面帶來了巨大的收益，如圖 1 所示。

【圖1 | 商業(yè)航空項目中每行代碼的軟件開發(fā)成本］

創(chuàng)建和發(fā)現(xiàn)錯誤的位置以及成本影響

不出所料，大多數(shù)缺陷都是在項目開始時引入的，甚至在編寫第一行代碼之前。大多數(shù)錯誤是在測試過程中發(fā)現(xiàn)并修復的，但很大一部分（高達 20%）是在產(chǎn)品發(fā)貨后的操作過程中發(fā)現(xiàn)的。在經(jīng)過認證的系統(tǒng)中，這要么意味著極其昂貴的修復-測試-重新認證周期，要么意味著針對問題的操作員解決方法（圖 2）。

【圖2 | 在不同開發(fā)階段引入和檢測到的缺陷百分比］

在項目的整個過程中，發(fā)現(xiàn)和修復缺陷的成本會成倍增加。最壞的情況是在產(chǎn)品交付給客戶后修復缺陷。部署后的缺陷修復成本是保守的，不包括對您的品牌造成的損害和現(xiàn)場安全事故的責任（圖 3）。顯然，目標是將檢測到并修復的缺陷移到生命周期的早期——換句話說，“左移”。此外，希望減少傳遞給客戶的缺陷數(shù)量（每個領域的現(xiàn)實）。

【圖3 | 在每個開發(fā)階段查找和修復錯誤的相對成本。在需求和設計期間是基線 （1x） 和修復缺陷成本最低的地方。］

測試自動化在左移中的作用

安全關鍵軟件行業(yè)認識到需要改變做事的方式。太多的項目試圖重新發(fā)明輪子，而認證新軟件既耗時又昂貴。

新產(chǎn)品的連接性和功能性的增長意味著方法需要改變。任何安全關鍵項目的很大一部分都是測試，而自動化對于實現(xiàn)安全、安保和質(zhì)量目標是絕對必要的。以下是測試自動化工具如何支持新的軟件開發(fā)方法并提高測試和文檔生產(chǎn)力的示例：

支持敏捷和迭代開發(fā)方法： 了解瀑布方法的問題，許多團隊使用更現(xiàn)代的開發(fā)方法來提高質(zhì)量和安全性。測試自動化是任何迭代開發(fā)方法的重要組成部分，因為測試套件在模塊、組件等的每個新迭代上運行。測試自動化通過可重復的自動化測試支持這些方法，為每個測試提供不同級別的報告，但也可以累積結(jié)果隨著時間的推移。動態(tài)分析工具對于檢測難以檢測的運行時錯誤至關重要，而靜態(tài)分析在測試開始前檢測缺陷方面起著重要作用。

支持軟件檢查： 檢查是在開發(fā)生命周期早期消除缺陷的良好實踐。檢查意味著審查所有內(nèi)容，而不僅僅是源代碼。例如，檢查需求和設計對于防止系統(tǒng)中的主要錯誤來源至關重要（再次圖 2）。許多錯誤是從字面上設計到系統(tǒng)中的。工具在這個階段發(fā)揮的作用較小，但確實提高了代碼審查的有效性。自動化單元測試、動態(tài)錯誤檢測和靜態(tài)分析在項目的早期編碼階段提供了極大改進的錯誤檢測。自動化測試的結(jié)果可以在代碼審查中呈現(xiàn)，從而減少對手動錯誤檢測的依賴，并留出更多時間來檢測不正確的需求和設計決策。

提高測試效率： 手動測試乏味且可重復性較差。結(jié)果收集可能是臨時的，盡管結(jié)果“正確”，但仍可能遺漏錯誤。實現(xiàn)所需的代碼覆蓋率，這取決于安全標準和項目的關鍵性，很難跟蹤。測試自動化不僅減少了測試的乏味和可重復性，而且高級測試工具的報告功能創(chuàng)建了有關項目狀態(tài)的重要管理信息。添加動態(tài)分析（在代碼運行時分析代碼（以檢測棘手的運行時錯誤））和靜態(tài)分析（在代碼運行之前分析代碼）增加了測試工具的錯誤檢測能力。

自動化編碼標準合規(guī)性： 許多安全關鍵項目需要源代碼標準。例如，MISRA 在汽車軟件中很常見，但已在其他行業(yè)中獲得認可。一些標準要求代碼符合滿足特定目標的公司標準。在每種情況下，手動強制執(zhí)行代碼合規(guī)性都是乏味且容易出錯的。靜態(tài)分析工具可以強制執(zhí)行合規(guī)性，高級工具通過檢測超出格式違規(guī)的錯誤更進一步。

自動化認證文檔： 實現(xiàn)軟件安全認證的大部分工作量是記錄流程、驗證和驗證。測試自動化顯著降低了記錄測試結(jié)果和覆蓋分析的成本。

加速第三方軟件的重用： 提高生產(chǎn)力的一個關鍵策略是軟件重用。理想情況下，可以使用已經(jīng)過認證的組件來降低這些子單元的開發(fā)成本。項目需要使用 COTS（現(xiàn)成的商業(yè)）軟件以及可能的開源和其他源代碼。使用靜態(tài)和動態(tài)分析工具自動評估該軟件可降低使用這些組件的風險。

提高質(zhì)量、安全性和保障性： 即使是嚴格的測試方案也可能遺漏嚴重錯誤。例如，僅代碼覆蓋率不足以確保在安全攻擊或多線程代碼情況下的正確行為。靜態(tài)分析工具可以在不運行特定測試的情況下檢測源代碼中的錯誤，并且可以發(fā)現(xiàn)單元或系統(tǒng)測試中難以發(fā)現(xiàn)的安全漏洞等錯誤。動態(tài)分析工具可以在測試期間檢測運行代碼中可能反映在測試結(jié)果中的錯誤（例如，緩慢的內(nèi)存泄漏）。系統(tǒng)測試期間的模糊測試和滲透測試可以發(fā)現(xiàn)在正常操作條件下遺漏的錯誤?？傮w而言，最先進的工具發(fā)現(xiàn)的額外缺陷和安全漏洞有助于降低成本、風險以及使其投入生產(chǎn)的 20% 左右的許多錯誤。

左移有什么影響？

很明顯，必須采取一些措施來解決圖 2 中清楚顯示的問題。在生命周期的開始，引入了太多缺陷并且未被發(fā)現(xiàn)，而當產(chǎn)品交到客戶手中時，產(chǎn)品中留下了太多缺陷。 采用新的開發(fā)方法、重用組件、利用 COTS 和開源以及工具自動化都是提高開發(fā)效率的關鍵步驟。

【圖4 | 該圖顯示了改進的開發(fā)過程，該過程在生命周期的早期轉(zhuǎn)移了對錯誤和安全漏洞的檢測。］

從圖 3 中我們知道，每個開發(fā)階段的成本都會顯著增加。圖 5 顯示了修復傳統(tǒng)方法與圖 4 中所示方法的缺陷的成本比較。更早發(fā)現(xiàn)和修復錯誤，不出所料，成本低于稍后修復它們。在此處介紹的情況下，總體成本差異約為 40%，有利于左移方法。

［圖 5. 該圖顯示了修復傳統(tǒng)方法與左移方法中的錯誤的相對成本。即使總?cè)毕輸?shù)量相同，早期檢測也會顯著降低成本。］

認證工具鏈和資格協(xié)助的重要性

在安全關鍵項目中使用自動化工具需要對工具本身的信任。產(chǎn)品制造商有責任確信用于創(chuàng)建軟件的流程和工具符合標準要求。工具供應商可以通過在出售給制造商之前獲得安全標準機構(gòu)認證的工具來提供幫助，或者在無法進行此類預認證的情況下，提供資格援助。然后，他們可以在自己的認證提交中使用工具供應商的認證證據(jù)，并減少所需的工作量。例如， Parasoft C/C++test 已通過 TüV SüD 認證，符合 IEC 61508 和 ISO 26262 標準的安全相關軟件開發(fā)資格。

在某些軟件安全標準中，例如 DO-178B 和 DO-178C，認證是在系統(tǒng)級別完成的，個別工具和軟件沒有獨立認證。在這些情況下，工具供應商會在文檔和專業(yè)服務方面提供鑒定工具包和幫助，從而大大降低鑒定用于項目的工具所需的成本和工作量。

審核編輯：郭婷