設(shè)計(jì)模式的實(shí)踐在面向?qū)ο?a href="http://m.sdkjxy.cn/v/tag/1315/" target="_blank">編程（OOP）中最為流行，在Erich Gamma和Richard Helm的經(jīng)典著作《設(shè)計(jì)模式：可重用的面向?qū)ο筌浖脑亍分幸训玫接行У慕忉尯涂偨Y(jié)。 以下是維基百科中"設(shè)計(jì)模式"的定義：

"軟件設(shè)計(jì)模式是針對(duì)軟件設(shè)計(jì)中給定上下文中的常見問題的通用，可重用的解決方案。 它不是可以直接轉(zhuǎn)換為源代碼或機(jī)器代碼的最終設(shè)計(jì)。 它是如何解決可在許多不同情況下使用的問題的描述或模板。 設(shè)計(jì)模式是形式化的最佳實(shí)踐，程序員可以在設(shè)計(jì)應(yīng)用程序或系統(tǒng)時(shí)用來解決常見問題。"

對(duì)于數(shù)據(jù)科學(xué)，許多人可能會(huì)問過同樣的問題：數(shù)據(jù)科學(xué)編程是否具有設(shè)計(jì)模式？ 我會(huì)說是的。 但是，為了將它們與OOP區(qū)別開來，我將它們稱為"數(shù)據(jù)科學(xué)設(shè)計(jì)原理"，其本質(zhì)含義與OOP設(shè)計(jì)模式相同，但級(jí)別更高。 受羅伯特·馬?。≧obert Martin）的"清潔架構(gòu)"一書的啟發(fā)，本文重點(diǎn)介紹了數(shù)據(jù)處理和數(shù)據(jù)工程的4個(gè)頂級(jí)設(shè)計(jì)原則。 我的下一篇文章將討論優(yōu)化性能的通用設(shè)計(jì)原理。 在這兩個(gè)領(lǐng)域中，都有可重復(fù)使用的解決方案和最佳實(shí)踐，它們已被證明能夠：

· 縮短整體開發(fā)周期；

· 使數(shù)據(jù)過程更易于維護(hù)（無論使用哪種編程語(yǔ)言或數(shù)據(jù)準(zhǔn)備工具）；

· 使系統(tǒng)更加開放和易于操作；

· 從一開始就確保數(shù)據(jù)質(zhì)量。

設(shè)計(jì)原則1：始終從數(shù)據(jù)集和數(shù)據(jù)實(shí)體的設(shè)計(jì)入手

每個(gè)數(shù)據(jù)過程都具有3個(gè)最小的組成部分：輸入數(shù)據(jù)，輸出數(shù)據(jù)和它們之間的數(shù)據(jù)轉(zhuǎn)換。 無論何時(shí)設(shè)計(jì)數(shù)據(jù)流程，首先要做的就是清楚地定義輸入數(shù)據(jù)集以及輸出數(shù)據(jù)集，包括：

· 所需的輸入數(shù)據(jù)集和參考數(shù)據(jù)

· 要?jiǎng)?chuàng)建的輸出數(shù)據(jù)集

· 每個(gè)數(shù)據(jù)集中的數(shù)據(jù)字段

· 每個(gè)字段的數(shù)據(jù)類型，例如文本，整數(shù)，浮點(diǎn)數(shù)，列表等，

· 確定每個(gè)記錄的唯一性的字段

· 每個(gè)字段的預(yù)期數(shù)據(jù)模式，包括它是否可以缺少值和明確的值列表

· 數(shù)據(jù)集與組織中其他現(xiàn)有數(shù)據(jù)集的關(guān)系

這類似于應(yīng)用于數(shù)據(jù)庫(kù)的所謂數(shù)據(jù)建模，有時(shí)也稱為"數(shù)據(jù)庫(kù)邏輯設(shè)計(jì)"。 此處的關(guān)鍵字是"邏輯的"，因?yàn)樗鼞?yīng)該在實(shí)施決策之前發(fā)生。 數(shù)據(jù)集可以寫入磁盤并永久存儲(chǔ)在公司內(nèi)部，并且最終將成為其他流程和應(yīng)用程序訪問或使用的真正資產(chǎn)。 因此，它是真正重要的，并且應(yīng)該準(zhǔn)確準(zhǔn)確地定義，并采用由數(shù)據(jù)治理驅(qū)動(dòng)的最佳實(shí)踐和策略。 特別是，應(yīng)根據(jù)業(yè)務(wù)需求或下游組件或流程的需求定義輸出數(shù)據(jù)集。 輸入數(shù)據(jù)集應(yīng)與其源保持一致，以便可以輕松地在不同系統(tǒng)之間跟蹤數(shù)據(jù)沿襲。

在進(jìn)行邏輯設(shè)計(jì)之后，可以將給定數(shù)據(jù)集的物理位置和數(shù)據(jù)結(jié)構(gòu)確定為系統(tǒng)設(shè)計(jì)的一部分。 通常，物理結(jié)構(gòu)可能與邏輯設(shè)計(jì)不同。 一個(gè)典型的例子是，邏輯設(shè)計(jì)中的字段名稱應(yīng)使用普通詞以使其更有意義和可讀性，而物理字段名稱必須考慮系統(tǒng)或軟件的限制。 例如：

· 邏輯字段名稱：?jiǎn)T工名稱

· 物理字段名稱（不能有空格，并且對(duì)字符數(shù)有限制）：emp_nm

更改組織中的數(shù)據(jù)平臺(tái)時(shí)，邏輯定義不應(yīng)更改，而數(shù)據(jù)集的物理表示形式可以根據(jù)系統(tǒng)要求和功能進(jìn)行重新設(shè)計(jì)。

如果流程需要多個(gè)步驟，則還需要定義中間數(shù)據(jù)集的內(nèi)容，這可以用于不同目的：

· 用于數(shù)據(jù)質(zhì)量檢查

· 提供流程檢查點(diǎn)和階段，以便在流程失敗時(shí)無需始終從頭開始重新運(yùn)行

· 充當(dāng)另一個(gè)子流程的輸入，或可供其他系統(tǒng)或用戶使用

與用于數(shù)據(jù)處理邏輯的代碼相比，數(shù)據(jù)實(shí)體花費(fèi)更長(zhǎng)的時(shí)間和更多的精力來進(jìn)行更改以產(chǎn)生更大的影響，這主要是因?yàn)樗呀?jīng)保存了數(shù)據(jù)并且可以被其他流程使用。 另一方面，一旦定義了輸入，中間和輸出數(shù)據(jù)集，則數(shù)據(jù)處理本身的框架就位。 我們經(jīng)?？吹綌?shù)據(jù)工程師開始構(gòu)建流程，而沒有先明確定義輸出。 這很容易導(dǎo)致2種后果：1）更改輸出時(shí)，進(jìn)行更大的更改，甚至對(duì)流程進(jìn)行修改； 2）輸出取決于處理邏輯，因此，錯(cuò)過了一些要求或定義不明確。 因此，在開始設(shè)計(jì)技術(shù)流程之前，請(qǐng)務(wù)必先定義數(shù)據(jù)集。 實(shí)際上，無論如何，處理邏輯很大程度上取決于輸入和輸出的數(shù)據(jù)定義。

數(shù)據(jù)集和數(shù)據(jù)實(shí)體的邏輯設(shè)計(jì)還與遵循組織標(biāo)準(zhǔn)的初始業(yè)務(wù)需求收集，數(shù)據(jù)發(fā)現(xiàn)和數(shù)據(jù)治理過程緊密相關(guān)。 此外，謹(jǐn)慎的邏輯設(shè)計(jì)應(yīng)考慮組織內(nèi)的數(shù)據(jù)共享，如果在公司的其他地方存在字段或數(shù)據(jù)，則應(yīng)避免重復(fù)數(shù)據(jù)集（請(qǐng)參閱我的文章：主數(shù)據(jù)管理：數(shù)據(jù)策略的重要組成部分）。 最后，具有良好治理的清晰數(shù)據(jù)集邏輯設(shè)計(jì)是從一開始就確保數(shù)據(jù)質(zhì)量的關(guān)鍵步驟（請(qǐng)參閱我的文章：確保和維持?jǐn)?shù)據(jù)質(zhì)量的7個(gè)步驟）。

設(shè)計(jì)原則2：將業(yè)務(wù)規(guī)則與處理邏輯分開

在羅伯特·馬?。≧obert Martin）的"清潔體系架構(gòu)"一書中，原則之一是從軟件角度尤其是從OOP功能將業(yè)務(wù)規(guī)則與插件分開。 但是，在數(shù)據(jù)工程中，存在相似的原理，而業(yè)務(wù)規(guī)則具有更廣泛的含義。 首先，業(yè)務(wù)規(guī)則由不同類型組成，例如，營(yíng)銷，財(cái)務(wù)，安全性或合規(guī)性中的特定方法。 在許多情況下，業(yè)務(wù)部門也可以驅(qū)動(dòng)數(shù)據(jù)清理和標(biāo)準(zhǔn)化的規(guī)則，因此，它們被視為業(yè)務(wù)規(guī)則。 業(yè)務(wù)規(guī)則通常具有3個(gè)特征：

· 需要由業(yè)務(wù)組織或業(yè)務(wù)分析師進(jìn)行審查

· 可能經(jīng)常更改并且需要快速周轉(zhuǎn)

· 如果未正確配置或執(zhí)行它們，則會(huì)導(dǎo)致嚴(yán)重的影響和后果

業(yè)務(wù)規(guī)則的管理和執(zhí)行對(duì)于數(shù)據(jù)過程的成功至關(guān)重要。 好的設(shè)計(jì)應(yīng)考慮以下方面：

1.模塊化

相同類型的規(guī)則應(yīng)在相同的數(shù)據(jù)過程，模塊或功能中處理。 另一方面，不同類型的規(guī)則不應(yīng)駐留在相同的流程，模塊或功能中。 否則，將難以管理業(yè)務(wù)規(guī)則變更的影響，并且流程將變得更加難以維護(hù)。

讓我們舉一個(gè)處理客戶調(diào)查數(shù)據(jù)的小例子，您需要清理原始數(shù)據(jù)，對(duì)其進(jìn)行標(biāo)準(zhǔn)化，然后將標(biāo)準(zhǔn)化數(shù)據(jù)加載到數(shù)據(jù)庫(kù)表中。 這里的輸出是標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)表，而您的測(cè)量數(shù)據(jù)是原始輸入。 有兩種構(gòu)建過程的方法：

數(shù)據(jù)清理規(guī)則與字段映射規(guī)則不同：數(shù)據(jù)清理規(guī)則基于輸入數(shù)據(jù)的值，而字段映射則基于輸入和輸出的數(shù)據(jù)結(jié)構(gòu)。鑒于此，選項(xiàng)1更好，因?yàn)樗试S獨(dú)立于字段映射的規(guī)則來更改數(shù)據(jù)清理規(guī)則，因此與選項(xiàng)2相比，它具有更大的靈活性和簡(jiǎn)便性，并且對(duì)規(guī)則修改的影響較小。分離不同類型的規(guī)則可以更好地管理規(guī)則，同時(shí)對(duì)其他類型的規(guī)則以及其他處理邏輯的影響最小。此外，針對(duì)一種業(yè)務(wù)規(guī)則的特殊功能或模塊可以在需要時(shí)成熟為獨(dú)立的服務(wù)，然后可以針對(duì)其他用例輕松地進(jìn)行單獨(dú)更改或增強(qiáng)。

2.業(yè)務(wù)規(guī)則的元數(shù)據(jù)存儲(chǔ)

只要有可能，應(yīng)將經(jīng)常更改的部分業(yè)務(wù)規(guī)則抽象出來并存儲(chǔ)在與編程代碼本身分開的存儲(chǔ)庫(kù)（例如數(shù)據(jù)庫(kù)）中。 有了這種分離之后，便可以在其之上構(gòu)建應(yīng)用程序或API，業(yè)務(wù)分析人員和/或業(yè)務(wù)用戶可以通過該應(yīng)用程序或API查看和修改業(yè)務(wù)規(guī)則。 在處理方面，引擎僅在執(zhí)行時(shí)從存儲(chǔ)庫(kù)中讀取規(guī)則，然后將規(guī)則應(yīng)用于輸入數(shù)據(jù)，而無需將任何業(yè)務(wù)邏輯硬編碼到流程本身中。

3.業(yè)務(wù)規(guī)則的版本控制和記錄

在將業(yè)務(wù)規(guī)則存儲(chǔ)在元數(shù)據(jù)存儲(chǔ)庫(kù)中并進(jìn)行單獨(dú)管理之后，進(jìn)一步的版本控制和日志記錄功能將變得非常強(qiáng)大，從而使用戶能夠在批準(zhǔn)之前更改新版本中的規(guī)則，并將結(jié)果與先前版本的結(jié)果進(jìn)行比較 或發(fā)布更改。 此外，記錄每個(gè)業(yè)務(wù)規(guī)則之前和之后的結(jié)果對(duì)于控制規(guī)則執(zhí)行的準(zhǔn)確性以及確保從規(guī)則引擎創(chuàng)建的輸出數(shù)據(jù)的質(zhì)量至關(guān)重要。

設(shè)計(jì)原則3：從一開始就構(gòu)建異常

數(shù)據(jù)永遠(yuǎn)不可能是完美的，因此，我們永遠(yuǎn)都不會(huì)假設(shè)輸入數(shù)據(jù)是完美的。 在初始設(shè)計(jì)中應(yīng)考慮數(shù)據(jù)異常處理，例如以下內(nèi)容：

· 數(shù)據(jù)集是否具有預(yù)期的格式？

· 輸入數(shù)據(jù)集的記錄數(shù)是否正確或?yàn)榭眨?如果文件為空，許多編程語(yǔ)言都不會(huì)失敗-需要顯式捕獲空文件異常。

· 每列的數(shù)據(jù)類型正確嗎？ 同樣，當(dāng)某些記錄中的幾個(gè)值的格式錯(cuò)誤時(shí)，某些程序可能會(huì)靜默失敗。

· 定義引發(fā)異常的條件：1）在繼續(xù)進(jìn)行過程中是否應(yīng)該發(fā)出警告，或者過程是否失?。?2）誰(shuí)將是收到警報(bào)的收件人？

首先，處理數(shù)據(jù)異常對(duì)于確保數(shù)據(jù)質(zhì)量至關(guān)重要。 設(shè)計(jì)良好的流程應(yīng)預(yù)先定義所有這些異常，并在流程中捕獲它們。 這些異常不僅可以導(dǎo)致實(shí)時(shí)警報(bào)，還可以饋入集中式數(shù)據(jù)質(zhì)量報(bào)告和儀表板。

設(shè)計(jì)原則4：使用標(biāo)準(zhǔn)輸入和輸出易于集成

我們?nèi)绾问箶?shù)據(jù)流程易于集成？ 一個(gè)重要原則是創(chuàng)建標(biāo)準(zhǔn)化的輸入層和標(biāo)準(zhǔn)化的輸出層，以"封裝"主過程。 如下圖所示，用于標(biāo)準(zhǔn)化輸入數(shù)據(jù)的過程應(yīng)與主過程分離并分離，其中其輸出是主過程的標(biāo)準(zhǔn)輸入數(shù)據(jù)集。 將來，如果有更多類型的輸入數(shù)據(jù)，則可以構(gòu)建和集成一個(gè)單獨(dú)的標(biāo)準(zhǔn)化過程，而無需更改主要過程。 這也適用于輸出-當(dāng)需要生成潛在不同格式的輸出時(shí)，應(yīng)首先生成標(biāo)準(zhǔn)輸出層。 這樣就可以通過構(gòu)建單獨(dú)的流程從標(biāo)準(zhǔn)輸出中生成將來的輸出，而無需更改主流程。 顯然，標(biāo)準(zhǔn)輸入和輸出數(shù)據(jù)集在連接點(diǎn)起作用，這樣其他流程可以輕松地與主流程集成。

結(jié)論

本文總結(jié)了數(shù)據(jù)處理和工程的4個(gè)設(shè)計(jì)原理。 這些原則不僅應(yīng)由數(shù)據(jù)架構(gòu)師用于設(shè)計(jì)大型系統(tǒng)，而且還應(yīng)由數(shù)據(jù)科學(xué)家和數(shù)據(jù)工程師用于較小的流程。 如果以有紀(jì)律的方式采用這些原則，那么精心設(shè)計(jì)的數(shù)據(jù)流程將使維護(hù)變得更加容易，變更的效率更高，而對(duì)系統(tǒng)其他部分的影響則更少，并且最后提供的數(shù)據(jù)質(zhì)量將比那些未遵循的過程更好。 遵循以上原則。