1. 確認(rèn)請(qǐng)求中的“IMAGE”張量映射到預(yù)處理模型中的輸入“RAW_IMAGE”。
2. 檢查集合中的模型，并向預(yù)處理模型發(fā)送內(nèi)部請(qǐng)求，因?yàn)樗璧乃休斎霃埩慷家丫途w。
3. 識(shí)別內(nèi)部請(qǐng)求的完成，收集輸出張量并將內(nèi)容映射到“預(yù)處理圖像”，這是集成中已知的唯一名稱(chēng)。
4. 將新收集的張量映射到集合中模型的輸入。在這種情況下，“classification_model”和“segmentation_model”的輸入將被映射并標(biāo)記為就緒。
5. 檢查需要新收集的張量的模型，并向輸入就緒的模型發(fā)送內(nèi)部請(qǐng)求，在本例中是分類(lèi)模型和分割模型。請(qǐng)注意，響應(yīng)將根據(jù)各個(gè)模型的負(fù)載和計(jì)算時(shí)間以任意順序排列。
6. 重復(fù)步驟 3-5，直到不再發(fā)送內(nèi)部請(qǐng)求，然后用集成輸出名稱(chēng)的張量去響應(yīng)推理請(qǐng)求。

1. 使用 image_prepoecess_model 模型，將原始圖像處理成preprocessed_image 數(shù)據(jù)；
2. 將 preprocessed_image 數(shù)據(jù)傳遞給 classification_model 模型，執(zhí)行圖像分類(lèi)推理，最終返回“CLASSIFICATION”結(jié)果；
3. 將 preprocessed_image 數(shù)據(jù)傳遞給 segmentation_model 模型，執(zhí)行語(yǔ)義分割推理計(jì)算，最終返回“SEGMENTATION”結(jié)果；

• 支持一個(gè)或多個(gè)模型的流水線(xiàn)以及這些模型之間輸入和輸出張量的連接；
• 處理多個(gè)模型的模型拼接或數(shù)據(jù)流，例如“數(shù)據(jù)處理->推理->數(shù)據(jù)后處理”等；
• 收集每個(gè)步驟中的輸出張量，并根據(jù)規(guī)范將其作為其他步驟的輸入張量；
• 所集成的模型能繼承所涉及模型的特征，在請(qǐng)求方的元數(shù)據(jù)必須符合集成中的模型；

1. 在模型倉(cāng)里為流水線(xiàn)創(chuàng)建一個(gè)新的“組合模型”文件夾，例如為“ensemble_model”；
2. 在目路下創(chuàng)建新的 config.pbtxt，并且使用“platform: "ensemble"”來(lái)定義這個(gè)模型要執(zhí)行集成功能；
3. 定義集成模型：

name:"ensemble_model"
platform: "ensemble"
max_batch_size: 1
input [
  {
    name: "IMAGE"
    data_type: TYPE_STRING
    dims: [ 1 ]
  }
]
output [
  {
    name: "CLASSIFICATION"
    data_type: TYPE_FP32
    dims: [ 1000 ]
  },
  {
    name: "SEGMENTATION"
    data_type: TYPE_FP32
    dims: [ 3, 224, 224 ]
  }
]

ensemble_scheduling{
  step [
    {
      model_name: "image_preprocess_model"
      model_version: -1
      input_map {
        key: "RAW_IMAGE"
        value: "IMAGE"
      }
      output_map {
        key: "PREPROCESSED_OUTPUT"
        value: "preprocessed_image"
      }
    },
    {
      model_name: "classification_model"
      model_version: -1
      input_map {
        key: "FORMATTED_IMAGE"
        value: "preprocessed_image"
      }
      output_map {
        key: "CLASSIFICATION_OUTPUT"
        value: "CLASSIFICATION"
      }
    },
    {
      model_name: "segmentation_model"
      model_version: -1
      input_map {
        key: "FORMATTED_IMAGE"
        value: "preprocessed_image"
      }
      output_map {
        key: "SEGMENTATION_OUTPUT"
        value: "SEGMENTATION"
      }
    }
  ]
}

• 這是 Triton 服務(wù)器用來(lái)執(zhí)行用戶(hù)定義模型流水線(xiàn)的抽象形式，由于沒(méi)有與集成模型關(guān)聯(lián)的物理實(shí)例，因此不能為其指定 instance_group 字段；
• 不過(guò)集成模型內(nèi)容所組成的個(gè)別模型（例如image_preprocess_model），可以在其配置文件中指定 instance_group，并在集成接收到多個(gè)請(qǐng)求時(shí)單獨(dú)支持并行執(zhí)行。
• 由于集成模型將繼承所涉及模型的特性，因此在請(qǐng)求起點(diǎn)的元數(shù)據(jù)（本例為“IMAGE”）必須符合集成中的模型，如果其中一個(gè)模型是有狀態(tài)模型，那么集成模型的推理請(qǐng)求應(yīng)該包含有狀態(tài)模型中提到的信息，這些信息將由調(diào)度器提供給有狀態(tài)模型。