本文主要研究了基于非參數(shù)方法的分類模型交叉驗(yàn)證結(jié)果比較，主要是對(duì)實(shí)例通過非參數(shù)的方法進(jìn)行模型比較的假設(shè)檢驗(yàn)，檢驗(yàn)兩分類模型是否存在顯著差異。模型的真實(shí)泛化誤差是一個(gè)較為科學(xué)的模型比較標(biāo)準(zhǔn)，對(duì)于分類模型而言，模型的真實(shí)泛化誤差表現(xiàn)為分類模型的誤判率，而基于交叉驗(yàn)證得到的結(jié)果是模型誤判率的一個(gè)優(yōu)良估計(jì)，可以通過交叉驗(yàn)證結(jié)果對(duì)模型進(jìn)行比較。交叉驗(yàn)證結(jié)果是隨機(jī)變量，存在分布，而對(duì)于此隨機(jī)變量而言，其分布是很難觀測(cè)的，因此，對(duì)于交叉驗(yàn)證結(jié)果的比較，本文通過非參數(shù)的方法進(jìn)行模型比較的假設(shè)檢驗(yàn)，檢驗(yàn)兩分類模型是否存在顯著差異。

　　對(duì)于因變量為分類變量的數(shù)據(jù)進(jìn)行建模，有多種建模方法。有基于統(tǒng)計(jì)的方法、基于機(jī)器學(xué)習(xí)的方法等等。在對(duì)數(shù)據(jù)進(jìn)行建模分析時(shí)，模型對(duì)于新數(shù)據(jù)的泛化能力是評(píng)價(jià)模型好壞的一個(gè)重要標(biāo)準(zhǔn)。因此，對(duì)模型的比較，較為科學(xué)的方法應(yīng)是對(duì)其泛化能力進(jìn)行比較。事實(shí)上，如果己知產(chǎn)生數(shù)據(jù)的真實(shí)模型，那么使用不同的模型對(duì)數(shù)據(jù)進(jìn)行建模，與真實(shí)模型進(jìn)行比較，理論上可以得到不同模型的真實(shí)泛化誤差，用以衡量、比較各模型泛化能力。然而，由于真實(shí)模型不可觀測(cè)，用于建模的各個(gè)模型的真實(shí)泛化誤差是不可得的，只有使用真實(shí)泛化誤差的估計(jì)對(duì)各模型進(jìn)行比較。
?