5.1. Object Lifetimes

TensorRT 的 API 是基于類的，其中一些類充當其他類的工廠。對于用戶擁有的對象，工廠對象的生命周期必須跨越它創(chuàng)建的對象的生命周期。例如， NetworkDefinition和BuilderConfig類是從構(gòu)建器類創(chuàng)建的，這些類的對象應(yīng)該在構(gòu)建器工廠對象之前銷毀。

此規(guī)則的一個重要例外是從構(gòu)建器創(chuàng)建引擎。創(chuàng)建引擎后，您可以銷毀構(gòu)建器、網(wǎng)絡(luò)、解析器和構(gòu)建配置并繼續(xù)使用引擎。

5.2. Error Handling and Logging

創(chuàng)建 TensorRT 頂級接口（builder、runtime 或 refitter）時，您必須提供Logger （ C++ 、 Python ）接口的實現(xiàn)。記錄器用于診斷和信息性消息；它的詳細程度是可配置的。由于記錄器可用于在 TensorRT 生命周期的任何時間點傳回信息，因此它的生命周期必須跨越應(yīng)用程序中對該接口的任何使用。實現(xiàn)也必須是線程安全的，因為 TensorRT 可以在內(nèi)部使用工作線程。

對對象的 API 調(diào)用將使用與相應(yīng)頂級接口關(guān)聯(lián)的記錄器。例如，在對ExecutionContext：：enqueue（）的調(diào)用中，執(zhí)行上下文是從引擎創(chuàng)建的，該引擎是從運行時創(chuàng)建的，因此 TensorRT 將使用與該運行時關(guān)聯(lián)的記錄器。

錯誤處理的主要方法是ErrorRecorde （ C++ ， Python ） 接口。您可以實現(xiàn)此接口，并將其附加到 API 對象以接收與該對象關(guān)聯(lián)的錯誤。對象的記錄器也將傳遞給它創(chuàng)建的任何其他記錄器 – 例如，如果您將錯誤記錄器附加到引擎，并從該引擎創(chuàng)建執(zhí)行上下文，它將使用相同的記錄器。如果您隨后將新的錯誤記錄器附加到執(zhí)行上下文，它將僅接收來自該上下文的錯誤。如果生成錯誤但沒有找到錯誤記錄器，它將通過關(guān)聯(lián)的記錄器發(fā)出。

請注意，CUDA 錯誤通常是異步的 – 因此，當執(zhí)行多個推理或其他 CUDA 流在單個 CUDA 上下文中異步工作時，可能會在與生成它的執(zhí)行上下文不同的執(zhí)行上下文中觀察到異步 GPU 錯誤。

5.3 Memory

TensorRT 使用大量設(shè)備內(nèi)存，即 GPU 可直接訪問的內(nèi)存，而不是連接到 CPU 的主機內(nèi)存。由于設(shè)備內(nèi)存通常是一種受限資源，因此了解 TensorRT 如何使用它很重要。

5.3.1. The Build Phase

在構(gòu)建期間，TensorRT 為時序?qū)訉崿F(xiàn)分配設(shè)備內(nèi)存。一些實現(xiàn)可能會消耗大量臨時內(nèi)存，尤其是在使用大張量的情況下。您可以通過構(gòu)建器的maxWorkspace屬性控制最大臨時內(nèi)存量。這默認為設(shè)備全局內(nèi)存的完整大小，但可以在必要時進行限制。如果構(gòu)建器發(fā)現(xiàn)由于工作空間不足而無法運行的適用內(nèi)核，它將發(fā)出一條日志消息來指示這一點。

然而，即使工作空間相對較小，計時也需要為輸入、輸出和權(quán)重創(chuàng)建緩沖區(qū)。 TensorRT 對操作系統(tǒng)因此類分配而返回內(nèi)存不足是穩(wěn)健的，但在某些平臺上，操作系統(tǒng)可能會成功提供內(nèi)存，隨后內(nèi)存不足killer進程觀察到系統(tǒng)內(nèi)存不足，并終止 TensorRT 。如果發(fā)生這種情況，請在重試之前盡可能多地釋放系統(tǒng)內(nèi)存。

在構(gòu)建階段，通常在主機內(nèi)存中至少有兩個權(quán)重拷貝：來自原始網(wǎng)絡(luò)的權(quán)重拷貝，以及在構(gòu)建引擎時作為引擎一部分包含的權(quán)重拷貝。此外，當 TensorRT 組合權(quán)重（例如卷積與批量歸一化）時，將創(chuàng)建額外的臨時權(quán)重張量。

5.3.2. The Runtime Phase

在運行時，TensorRT 使用相對較少的主機內(nèi)存，但可以使用大量的設(shè)備內(nèi)存。

引擎在反序列化時分配設(shè)備內(nèi)存來存儲模型權(quán)重。由于序列化引擎幾乎都是權(quán)重，因此它的大小非常接近權(quán)重所需的設(shè)備內(nèi)存量。

ExecutionContext使用兩種設(shè)備內(nèi)存：

一些層實現(xiàn)所需的持久內(nèi)存——例如，一些卷積實現(xiàn)使用邊緣掩碼，并且這種狀態(tài)不能像權(quán)重那樣在上下文之間共享，因為它的大小取決于層輸入形狀，這可能因上下文而異。該內(nèi)存在創(chuàng)建執(zhí)行上下文時分配，并在其生命周期內(nèi)持續(xù)。

暫存內(nèi)存，用于在處理網(wǎng)絡(luò)時保存中間結(jié)果。該內(nèi)存用于中間激活張量。它還用于層實現(xiàn)所需的臨時存儲，其邊界由IBuilderConfig：：setMaxWorkspaceSize（）控制。

您可以選擇通過ICudaEngine：：createExecutionContextWithoutDeviceMemory（）創(chuàng)建一個沒有暫存內(nèi)存的執(zhí)行上下文，并在網(wǎng)絡(luò)執(zhí)行期間自行提供該內(nèi)存。這允許您在未同時運行的多個上下文之間共享它，或者在推理未運行時用于其他用途。 ICudaEngine：：getDeviceMemorySize（）返回所需的暫存內(nèi)存量。

構(gòu)建器在構(gòu)建網(wǎng)絡(luò)時發(fā)出有關(guān)執(zhí)行上下文使用的持久內(nèi)存和暫存內(nèi)存量的信息，嚴重性為 kINFO 。檢查日志，消息類似于以下內(nèi)容：

[08/12/2021-17:39:11] [I] [TRT] Total Host Persistent Memory: 106528
[08/12/2021-17:39:11] [I] [TRT] Total Device Persistent Memory: 29785600
[08/12/2021-17:39:11] [I] [TRT] Total Scratch Memory: 9970688

默認情況下，TensorRT 直接從 CUDA 分配設(shè)備內(nèi)存。但是，您可以將 TensorRT 的IGpuAllocator （ C++ 、 Python ）接口的實現(xiàn)附加到構(gòu)建器或運行時，并自行管理設(shè)備內(nèi)存。如果您的應(yīng)用程序希望控制所有 GPU 內(nèi)存并子分配給 TensorRT，而不是讓 TensorRT 直接從 CUDA 分配，這將非常有用。

TensorRT 的依賴項（ cuDNN和cuBLAS ）會占用大量設(shè)備內(nèi)存。 TensorRT 允許您通過構(gòu)建器配置中的TacticSources （ C++ 、 Python ）屬性控制這些庫是否用于推理。請注意，某些層實現(xiàn)需要這些庫，因此當它們被排除時，網(wǎng)絡(luò)可能無法編譯。

CUDA 基礎(chǔ)設(shè)施和 TensorRT 的設(shè)備代碼也會消耗設(shè)備內(nèi)存。內(nèi)存量因平臺、設(shè)備和 TensorRT 版本而異。您可以使用cudaGetMemInfo來確定正在使用的設(shè)備內(nèi)存總量。

注意：由于 CUDA 無法控制統(tǒng)一內(nèi)存設(shè)備上的內(nèi)存，因此cudaGetMemInfo返回的結(jié)果在這些平臺上可能不準確。

5.4. Threading

一般來說，TensorRT 對象不是線程安全的。預(yù)期的運行時并發(fā)模型是不同的線程將在不同的執(zhí)行上下文上操作。上下文包含執(zhí)行期間的網(wǎng)絡(luò)狀態(tài)（激活值等），因此在不同線程中同時使用上下文會導(dǎo)致未定義的行為。 為了支持這個模型，以下操作是線程安全的：

運行時或引擎上的非修改操作。

從 TensorRT 運行時反序列化引擎。

從引擎創(chuàng)建執(zhí)行上下文。

注冊和注銷插件。

在不同線程中使用多個構(gòu)建器沒有線程安全問題；但是，構(gòu)建器使用時序來確定所提供參數(shù)的最快內(nèi)核，并且使用具有相同 GPU 的多個構(gòu)建器將擾亂時序和 TensorRT 構(gòu)建最佳引擎的能力。使用多線程使用不同的 GPU 構(gòu)建不存在此類問題。

5.5. Determinism

TensorRT builder 使用時間來找到最快的內(nèi)核來實現(xiàn)給定的運算符。時序內(nèi)核會受到噪聲的影響——GPU 上運行的其他工作、GPU 時鐘速度的波動等。時序噪聲意味著在構(gòu)建器的連續(xù)運行中，可能不會選擇相同的實現(xiàn)。

AlgorithmSelector （ C++ ， Python ）接口允許您強制構(gòu)建器為給定層選擇特定實現(xiàn)。您可以使用它來確保構(gòu)建器從運行到運行選擇相同的內(nèi)核。有關(guān)更多信息，請參閱算法選擇和可重現(xiàn)構(gòu)建部分。

一旦構(gòu)建了引擎，它就是確定性的：在相同的運行時環(huán)境中提供相同的輸入將產(chǎn)生相同的輸出。

關(guān)于作者

Ken He 是 NVIDIA 企業(yè)級開發(fā)者社區(qū)經(jīng)理 & 高級講師，擁有多年的 GPU 和人工智能開發(fā)經(jīng)驗。自 2017 年加入 NVIDIA 開發(fā)者社區(qū)以來，完成過上百場培訓，幫助上萬個開發(fā)者了解人工智能和 GPU 編程開發(fā)。在計算機視覺，高性能計算領(lǐng)域完成過多個獨立項目。并且，在機器人和無人機領(lǐng)域，有過豐富的研發(fā)經(jīng)驗。對于圖像識別，目標的檢測與跟蹤完成過多種解決方案。曾經(jīng)參與 GPU 版氣象模式GRAPES，是其主要研發(fā)者。

審核編輯：郭婷