正式開(kāi)始之前先介紹一下GPUImage，這是一款基于OpenGL ES 2.0的開(kāi)源圖像處理庫(kù)。在iOS上將OpenGL ES的使用封裝成Objective-C接口，可以用來(lái)給圖像、相機(jī)視頻、視頻等添加濾鏡等渲染操作。GPUImage一代已經(jīng)不再維護(hù)，OC只能給iOS和Mac使用；同時(shí)有GPUImage2使用Swift(基于Swift 3)開(kāi)發(fā)，可以給Mac, iOS和Linux使用；最新的GPUImage3仍在開(kāi)發(fā)完善中，基于Swift4，并且將OpenGL ES替換成蘋果的Metal，由于是蘋果官方封裝GPU方法，可以預(yù)見(jiàn)會(huì)比使用OpenGL ES的性能效率更高。本文使用的仍是第一代GPUImage。

接入GPUImage使用cocoapods直接接入就行，就不再贅述。下面是一個(gè)簡(jiǎn)單的濾鏡使用:

GPUImage使用有三個(gè)關(guān)鍵點(diǎn)，input, output, filter(filter也是output但主要實(shí)現(xiàn)了濾鏡，所以分開(kāi)說(shuō))。output一般是用來(lái)承載圖像內(nèi)容輸出，可以是GPUImageUIElement(通過(guò)UIView來(lái)創(chuàng)建并承載整個(gè)UIView的內(nèi)容), GPUImagePicture(使用UIImage或者CGImage之類的圖像來(lái)創(chuàng)建);filter就是所使用的濾鏡，可以使用GPUImage自帶的比如GPUImageGaussianBlurFilter, GPUImageColorInvertFilter等等，當(dāng)然也可以自建Filter來(lái)實(shí)現(xiàn)一些自己所需要的濾鏡，當(dāng)然也需要一些OpenGL的功底；input則是內(nèi)容輸入需要GPUImage進(jìn)行一些處理的，下面用一個(gè)MovieWriter進(jìn)行視頻和一個(gè)動(dòng)態(tài)畫(huà)面進(jìn)行合成來(lái)舉例:

使用中第一版沒(méi)有提到聲音問(wèn)題所以沒(méi)有發(fā)現(xiàn)，第二版需要使用視頻原聲音并錄制進(jìn)去，查了一下可以這樣使用:

錄制開(kāi)始會(huì)有隨機(jī)閃退問(wèn)題，網(wǎng)上查了一下，大致是因?yàn)?a target="_blank">音頻處理比視頻處理快，當(dāng)音頻處理完直接callback去做渲染處理了，但這時(shí)視頻這幀還沒(méi)有加載完成，導(dǎo)致處理失敗崩潰，網(wǎng)上有一個(gè)替換GPUImageMovieWriter.m源文件的方法來(lái)規(guī)避這個(gè)問(wèn)題，但我嘗試了一下仍然會(huì)發(fā)生，就不貼出來(lái)了。暫時(shí)也沒(méi)有更好的辦法來(lái)修復(fù)這個(gè)問(wèn)題，由于時(shí)間緊迫，我采取只傳遞聲音而取消寫(xiě)入視頻中，使用ffmpeg進(jìn)行音視頻合成(或其他視頻處理工具，因?yàn)楸旧眄?xiàng)目有視頻剪切使用了ffmpeg)。如果以后對(duì)這方面有更深入的了解和研究會(huì)繼續(xù)更新如何解決這個(gè)問(wèn)題。

PS: 說(shuō)個(gè)題外關(guān)于視頻編碼問(wèn)題，騰訊家的qq和微信SDK分享視頻只能分享網(wǎng)絡(luò)源無(wú)法分享本地源，但如果通過(guò)蘋果系統(tǒng)自帶的分享則可以分享視頻。最新版部分視頻會(huì)發(fā)生視頻壓縮失敗的問(wèn)題，無(wú)法上傳。起先認(rèn)為是視頻編碼問(wèn)題，通過(guò)ffmpeg重新使用h264或者libx264都無(wú)法解決；后來(lái)發(fā)現(xiàn)那些無(wú)法通過(guò)騰訊系壓縮的是音頻重新合成過(guò)的，所以我對(duì)音頻重新編碼，使用的是網(wǎng)絡(luò)上流媒體目前比較通用的aac，結(jié)果讓我大失所望，還是不行！網(wǎng)上也找不到騰訊有關(guān)這兩款分享視頻所需要的編碼問(wèn)題，而如果我不通過(guò)ffmpeg進(jìn)行編輯，原視頻的H.264+aac就是好的，沒(méi)有辦法只能采取控制變量法來(lái)一個(gè)一個(gè)試編碼。最后測(cè)出來(lái)是視頻H.264沒(méi)有問(wèn)題，音頻則需要使用ac3來(lái)進(jìn)行編碼才能通過(guò)。