下載功能應(yīng)該是比較常見的功能了，雖然一個項目里面可能出現(xiàn)的不多，但是基本上每個項目都會有，而且有些下載功能其實還是比較繁雜的，倒不是難，而是麻煩。

如果我說現(xiàn)在只需要一個注解就能幫你下載任意的對象，是不是覺得非常的方便

@Download(source="classpath:/download/README.txt")
@GetMapping("/classpath")
publicvoidclasspath(){

}

@Download
@GetMapping("/file")
publicFilefile(){
returnnewFile("/Users/Shared/README.txt");
}

@Download
@GetMapping("/http")
publicStringhttp(){
return"http://127.0.0.1:8080/concept-download/image.jpg";
}

感覺差別不大？那就聽聽我遇到的一個下載需求

我們有一個平臺是管理設(shè)備的，然后每個設(shè)備都會有一個二維碼圖片，用一個字段存儲的 http 地址

現(xiàn)在需要導(dǎo)出所有設(shè)備二維碼圖片的壓縮包，圖片名稱需要用設(shè)備名稱加 .png 后綴，需求上來說并不難，但是著實有點(diǎn)麻煩

首先我需要將設(shè)備列表查出來

然后使用二維碼地址下載圖片并寫到本地緩存文件

在下載之前需要先判斷是否已經(jīng)存在緩存

下載時需要并發(fā)下載提升性能

等所有圖片下載結(jié)束后

再生成一個壓縮文件

然后再操作輸入輸出流寫到響應(yīng)中

看著我實現(xiàn)了將近 200 行的代碼，真是又臭又長，一個下載功能咋能那么麻煩呢，于是我就想有沒有更簡單的方式

我當(dāng)時的需求很簡單，我想著我只要提供需要下載的數(shù)據(jù)，比如一個文件路徑，一個文件對象，一段字符串文本，一個http地址，或者混搭了前面所有類型的一個集合，甚至是我們自定義的某個類的實例，后面的事情我就不用管了

文件路徑是一個文件還是一個目錄？字符串文本需要先寫入一個文本文件中？http資源如何下載到本地？多個文件怎么壓縮？最后怎么寫到響應(yīng)中？我才不想花時間管這些

比如就像我現(xiàn)在這個需求，我只要返回設(shè)備列表就行了，其他的事情我都不用管

@Download(filename="二維碼.zip")
@GetMapping("/download")
publicListdownload(){
returndeviceService.all();
}

publicclassDevice{

//設(shè)備名稱
privateStringname;

//設(shè)備二維碼
//注解表示該http地址是需要下載的數(shù)據(jù)
@SourceObject
privateStringqrCodeUrl;

//注解表示文件名稱
@SourceName
publicStringgetQrCodeName(){
returnname+".png";
}
//省略其他屬性方法
}

通過在 Device 的字段上標(biāo)注某些注解（或是實現(xiàn)某個接口）來指定文件名稱和文件地址

如果能這樣實現(xiàn)，省時省心省力，又多了寫 199 行代碼的摸魚時間難道不香么

思路

下面來講講這個庫的主要設(shè)計思路，以及中間遇到的坑，大家有興趣可以繼續(xù)往下看

其實基于一開始的設(shè)想，我覺得功能并沒有多復(fù)雜，于是就決定開肝

只是萬萬沒想到實現(xiàn)起來比我想象的更復(fù)雜（這是后話了）

基礎(chǔ)

首先整個庫基于響應(yīng)式編程，但卻并不是完全意義上的響應(yīng)式，只能說是Mono這樣的。。。奇怪組合？

為什么會這樣呢，很大的一個原因是由于需要兼容webmvc和webflux，導(dǎo)致我僅僅是將之前實現(xiàn)的InputStream方式重構(gòu)成了響應(yīng)式，所以就出現(xiàn)了這樣的組合

這也是我遇到的最大的一個坑，我先前已經(jīng)基本調(diào)通了基于Servlet的整個下載流程，然后就想著支持一下webflux

大家都知道webmvc中，我們可以通過RequestContextHolder來獲得請求和響應(yīng)對象，但是在webflux中就不行了，當(dāng)然我們可以在方法參數(shù)中注入

@Download(source="classpath:/download/README.txt")
@GetMapping("/classpath")
publicvoidclasspath(ServerHttpResponseresponse){

}

結(jié)合Spring自帶的注入功能，我們就可以通過AOP拿到響應(yīng)的入?yún)⒘耍强傆X得這樣寫有點(diǎn)多余，強(qiáng)迫癥表示不能忍

有什么辦法既能把用不到的入?yún)⒏傻?，又能拿到響?yīng)對象呢，在網(wǎng)上找到了一種實現(xiàn)方式

/**
*用于設(shè)置當(dāng)前的請求和響應(yīng)。
*
*@seeReactiveDownloadHolder
*/
publicclassReactiveDownloadFilterimplementsWebFilter{

@Override
publicMonofilter(ServerWebExchangeexchange,WebFilterChainchain){
ServerHttpRequestrequest=exchange.getRequest();
ServerHttpResponseresponse=exchange.getResponse();
returnchain.filter(exchange)
//低版本使用subscriberContext
.contextWrite(ctx->ctx.put(ServerHttpRequest.class,request))
.contextWrite(ctx->ctx.put(ServerHttpResponse.class,response));
}
}

/**
*用于獲得當(dāng)前的請求和響應(yīng)。
*
*@seeReactiveDownloadFilter
*/

publicclassReactiveDownloadHolder{

publicstaticMonogetRequest(){
//低版本使用subscriberContext
returnMono.deferContextual(contextView->Mono.just(contextView.get(ServerHttpRequest.class)));
}

publicstaticMonogetResponse(){
//低版本使用subscriberContext
returnMono.deferContextual(contextView->Mono.just(contextView.get(ServerHttpResponse.class)));
}
}

通過添加WebFilter就可以獲得響應(yīng)對象了，但是返回值是Mono

那么可不可以通過Mono.block()阻塞得到對應(yīng)的對象呢，答案是不行，由于webflux基于Netty的非阻塞線程，如果調(diào)用該方法會直接拋出異常

所以就沒有任何辦法了，只能將之前代碼基于響應(yīng)式重構(gòu)

架構(gòu)

接下來說說整體架構(gòu)

對于一個下載請求，我們可以分成幾個步驟，以下載多個文件的壓縮包為例

首先我們一般是得到多個文件的路徑或?qū)?yīng)的File對象

然后將這些文件壓縮生成一個壓縮文件

最后將壓縮文件寫入到響應(yīng)中

但是對于我上面描述的需求，一開始就不是文件路徑或?qū)ο罅?，而是一個http地址，然后在壓縮之前還需要多一個步驟，需要先將圖片下載下來

那么對于各種各樣的需求我們可能需要在當(dāng)前步驟中的任意位置添加額外的步驟，所以我參考了Spring Cloud Gateway 攔截鏈的實現(xiàn)方式

/**
*下載處理器。
*/
publicinterfaceDownloadHandlerextendsOrderProvider{

/**
*執(zhí)行處理。
*
*@paramcontext{@linkDownloadContext}
*@paramchain{@linkDownloadHandlerChain}
*/
Monohandle(DownloadContextcontext,DownloadHandlerChainchain);
}

/**
*下載處理鏈。
*/
publicinterfaceDownloadHandlerChain{

/**
*調(diào)度下一個下載處理器。
*
*@paramcontext{@linkDownloadContext}
*/
Mononext(DownloadContextcontext);
}

這樣每個步驟就可以單獨(dú)實現(xiàn)一個DownloadHandler，步驟與步驟之間可以任意的組合添加

下載上下文

在此基礎(chǔ)上使用一個貫穿整個流程的上下文DownloadContext，方便共享和傳遞步驟之間的中間結(jié)果

對于上下文DownloadContext也提供了DownloadContextFactory可以用于自定義上下文

同時提供了DownloadContextInitializer和DownloadContextDestroyer用于在上下文初始化和銷毀時擴(kuò)展自己的邏輯

下載類型支持

我們需要下載的數(shù)據(jù)的類型是不固定的，比如有文件，有http地址，也會有之前我希望的自定義的類的實例

所以我將所有的下載對象抽象成了Source，表示一個下載源，這樣文件可以實現(xiàn)為FileSource，http地址可以實現(xiàn)為HttpSource，然后通過對應(yīng)的SourceFactory來匹配創(chuàng)建

比如FileSourceFactory可以匹配File并且創(chuàng)建FileSource，HttpSourceFactory可以匹配http://前綴并且創(chuàng)建HttpSource

/**
*{@linkSource}工廠。
*/
publicinterfaceSourceFactoryextendsOrderProvider{

/**
*是否支持需要下載的原始數(shù)據(jù)對象。
*
*@paramsource需要下載的原始數(shù)據(jù)對象
*@paramcontext{@linkDownloadContext}
*@return如果支持則返回true
*/
booleansupport(Objectsource,DownloadContextcontext);

/**
*創(chuàng)建。
*
*@paramsource需要下載的原始數(shù)據(jù)對象
*@paramcontext{@linkDownloadContext}
*@return創(chuàng)建的{@linkSource}
*/
Sourcecreate(Objectsource,DownloadContextcontext);
}

那么對于我們自定義的類要怎么支持呢，之前提到可以在類上標(biāo)注注解或是實現(xiàn)特定的接口，那么就用我實現(xiàn)的注解的方式來大概講一講吧

其實邏輯很簡單，只要能熟練的運(yùn)用反射就完全沒問題，我們再來看一看用法

@Download(filename="二維碼.zip")
@GetMapping("/download")
publicListdownload(){
returndeviceService.all();
}

publicclassDevice{

//設(shè)備名稱
privateStringname;

//設(shè)備二維碼
//注解表示該http地址是需要下載的數(shù)據(jù)
@SourceObject
privateStringqrCodeUrl;

//注解表示文件名稱
@SourceName
publicStringgetQrCodeName(){
returnname+".png";
}
//省略其他屬性方法
}

首先我定義了一個注解@SourceModel標(biāo)注在類上表示需要被解析，然后定義了一個@SourceObject注解標(biāo)注在需要下載的字段（或方法）上，這樣我們就可以通過反射拿到這個字段（或方法）的值

基于當(dāng)前支持的SourceFactory就能創(chuàng)建出對應(yīng)的Source，接下來使用@SourceName指定名稱，也同樣可以通過反射獲得這個方法（或字段）的值并依舊通過反射設(shè)置到創(chuàng)建出來的Source上

這樣就能非常靈活的支持任意的對象類型了

并發(fā)加載

對于像http這種網(wǎng)絡(luò)資源，我們需要先并發(fā)加載（多個文件時）到本地的內(nèi)存中或是緩存文件中來提升我們的處理效率

當(dāng)然我可以直接定死一個線程池來執(zhí)行，但是每個機(jī)器每個項目甚至每個需求對于并發(fā)的要求和資源的分配都不一樣

所以我提供了SourceLoader來支持自定義的加載邏輯，你甚至可以一部分用線程池，一部分用協(xié)程，剩下一部分不加載

/**
*{@linkSource}加載器。
*
*@seeDefaultSourceLoader
*@seeSchedulerSourceLoader
*/
publicinterfaceSourceLoader{

/**
*執(zhí)行加載。
*
*@paramsource{@linkSource}
*@paramcontext{@linkDownloadContext}
*@return加載后的{@linkSource}
*/
Monoload(Sourcesource,DownloadContextcontext);
}

壓縮

當(dāng)我們加載完之后就可以執(zhí)行壓縮了，同樣的我定義了一個類Compression作為壓縮對象的抽象

一般來說，我們會先在本地創(chuàng)建一個緩存文件，然后將壓縮后的數(shù)據(jù)寫入到緩存文件中

不過我每次都很討厭在配置文件中配置各種各樣的路徑，所以在壓縮時支持內(nèi)存壓縮，當(dāng)然如果文件比較大還是老老實實生成一個緩存文件

對于壓縮格式也提供了可以完全自定義的SourceCompressor接口，你想自己實現(xiàn)一個壓縮協(xié)議都沒有問題

/**
*{@linkSource}壓縮器。
*
*@seeZipSourceCompressor
*/
publicinterfaceSourceCompressorextendsOrderProvider{

/**
*獲得壓縮格式。
*
*@return壓縮格式
*/
StringgetFormat();

/**
*判斷是否支持對應(yīng)的壓縮格式。
*
*@paramformat壓縮格式
*@paramcontext{@linkDownloadContext}
*@return如果支持則返回true
*/
defaultbooleansupport(Stringformat,DownloadContextcontext){
returnformat.equalsIgnoreCase(getFormat());
}

/**
*如果支持對應(yīng)的格式就會調(diào)用該方法執(zhí)行壓縮。
*
*@paramsource{@linkSource}
*@paramwriter{@linkDownloadWriter}
*@paramcontext{@linkDownloadContext}
*@return{@linkCompression}
*/
Compressioncompress(Sourcesource,DownloadWriterwriter,DownloadContextcontext);
}

響應(yīng)寫入

我將響應(yīng)抽象成了DownloadResponse，主要用于兼容HttpServletResponse和ServerHttpResponse

但是問題又出現(xiàn)了，下面是webmvc和webflux寫入響應(yīng)的方式

//HttpServletResponse
response.getOutputStream().write(byteb[],intoff,intlen);

//ServerHttpResponse
response.writeWith(Publisherbody);

這兼容的我腦殼疼，不過最后還是搞定了

/**
*持有{@linkServerHttpResponse}的{@linkDownloadResponse}，用于webflux。
*/
@Getter
publicclassReactiveDownloadResponseimplementsDownloadResponse{

privatefinalServerHttpResponseresponse;

privateOutputStreamos;

privateMonomono;

publicReactiveDownloadResponse(ServerHttpResponseresponse){
this.response=response;
}

@Override
publicMonowrite(Consumerconsumer){
if(os==null){
mono=response.writeWith(Flux.create(fluxSink->{
try{
os=newFluxSinkOutputStream(fluxSink,response);
consumer.accept(os);
}catch(Throwablee){
fluxSink.error(e);
}
}));
}else{
consumer.accept(os);
}
returnmono;
}

@SneakyThrows
@Override
publicvoidflush(){
if(os!=null){
os.flush();
}
}

@AllArgsConstructor
publicstaticclassFluxSinkOutputStreamextendsOutputStream{

privateFluxSinkfluxSink;

privateServerHttpResponseresponse;

@Override
publicvoidwrite(byte[]b)throwsIOException{
writeSink(b);
}

@Override
publicvoidwrite(byte[]b,intoff,intlen)throwsIOException{
byte[]bytes=newbyte[len];
System.arraycopy(b,off,bytes,0,len);
writeSink(bytes);
}

@Override
publicvoidwrite(intb)throwsIOException{
writeSink((byte)b);
}

@Override
publicvoidflush(){
fluxSink.complete();
}

publicvoidwriteSink(byte...bytes){
DataBufferbuffer=response.bufferFactory().wrap(bytes);
fluxSink.next(buffer);
//在這里可能有問題，但是目前沒有沒有需要釋放的數(shù)據(jù)
DataBufferUtils.release(buffer);
}
}
}

只要最后都是寫byte[]就可以相互轉(zhuǎn)化，只不過可能麻煩一點(diǎn)，需要用接口回調(diào)

將FluxSink偽裝成一個OutputStream，寫入時把byte[]轉(zhuǎn)成DataBuffer 并調(diào)用next方法，最后在flush的時候調(diào)用complete方法就行了，完美

響應(yīng)寫入其實就是對輸入輸出流的處理了，正常情況下，我們會定義一個byte[]用來緩存讀到的數(shù)據(jù)，所以我也不會固定這個緩存的大小而是提供了DownloadWriter可以自定義處理輸入輸出流，包括存在指定編碼或是Range頭的情況

/**
*具體操作{@linkInputStream}和{@linkOutputStream}的寫入器。
*/
publicinterfaceDownloadWriterextendsOrderProvider{

/**
*該寫入器是否支持寫入。
*
*@paramresource{@linkResource}
*@paramrange{@linkRange}
*@paramcontext{@linkDownloadContext}
*@return如果支持則返回true
*/
booleansupport(Resourceresource,Rangerange,DownloadContextcontext);

/**
*執(zhí)行寫入。
*
*@paramis{@linkInputStream}
*@paramos{@linkOutputStream}
*@paramrange{@linkRange}
*@paramcharset{@linkCharset}
*@paramlength總大小，可能為null
*/
defaultvoidwrite(InputStreamis,OutputStreamos,Rangerange,Charsetcharset,Longlength){
write(is,os,range,charset,length,null);
}

/**
*執(zhí)行寫入。
*
*@paramis{@linkInputStream}
*@paramos{@linkOutputStream}
*@paramrange{@linkRange}
*@paramcharset{@linkCharset}
*@paramlength總大小，可能為null
*@paramcallback回調(diào)當(dāng)前進(jìn)度和增長的大小
*/
voidwrite(InputStreamis,OutputStreamos,Rangerange,Charsetcharset,Longlength,Callbackcallback);

/**
*進(jìn)度回調(diào)。
*/
interfaceCallback{

/**
*回調(diào)進(jìn)度。
*
*@paramcurrent當(dāng)前值
*@paramincrease增長值
*/
voidonWrite(longcurrent,longincrease);
}
}

事件

當(dāng)我把整個下載流程實現(xiàn)之后發(fā)現(xiàn)其實整個邏輯還是有點(diǎn)復(fù)雜的，所有得想個辦法能監(jiān)控整個下載流程

最開始我定義了幾個監(jiān)聽器用來回調(diào)，但是并不好用，首先我們整個架構(gòu)設(shè)計的是十分靈活可擴(kuò)展的，而定義的監(jiān)聽器類型少而且不好擴(kuò)展

當(dāng)我們后續(xù)添加了其他的流程和步驟后，不得不新加幾類監(jiān)聽器或是在原來的監(jiān)聽器類上添加方法，十分麻煩

所以我想到使用事件的方式能更加靈活的擴(kuò)展，并定義了DownloadEventPublisher用于發(fā)布事件和DownloadEventListener用于監(jiān)聽事件，而且支持了Spring的事件監(jiān)聽方式

日志

基于上述的事件方式，我在此基礎(chǔ)上實現(xiàn)了幾種下載日志

每個流程對應(yīng)的日志

加載進(jìn)度更新，壓縮進(jìn)度更新，響應(yīng)寫入進(jìn)度更新的日志

時間花費(fèi)的日志

這些日志由于比較詳細(xì)的打印了整個下載流程的信息，還幫我發(fā)現(xiàn)了好多Bug

其他坑

最開始上下文的初始化和銷毀各自對應(yīng)了一個步驟分別位于最開始和最末尾，但是當(dāng)我在webflux中寫完響應(yīng)后，發(fā)現(xiàn)上下文的銷毀不會執(zhí)行

于是我跟了下Spring的源碼發(fā)現(xiàn)寫入方法返回的是Mono.empty()，也就是說，當(dāng)響應(yīng)寫入后就不會往下調(diào)用next方法了，所以在響應(yīng)寫入之后的步驟永遠(yuǎn)都不會被調(diào)用

最后就把上下文初始化和銷毀單獨(dú)出來了，并且在doAfterTerminate時調(diào)用銷毀方法。

審核編輯：劉清