1.人工神經(jīng)網(wǎng)絡(luò)

　　神經(jīng)網(wǎng)絡(luò)是一種運(yùn)算模型，由大量的節(jié)點(diǎn)(或稱神經(jīng)元)之間相互聯(lián)接構(gòu)成。每個(gè)節(jié)點(diǎn)代表一種特定的輸出函數(shù)，稱為激勵(lì)函數(shù)(activation function)。每?jī)蓚€(gè)節(jié)點(diǎn)間的連接都代表一個(gè)對(duì)于通過(guò)該連接信號(hào)的加權(quán)值，稱之為權(quán)重，這相當(dāng)于人工神經(jīng)網(wǎng)絡(luò)的記憶。網(wǎng)絡(luò)的輸出則依網(wǎng)絡(luò)的連接方式，權(quán)重值和激勵(lì)函數(shù)的不同而不同。而網(wǎng)絡(luò)自身通常都是對(duì)自然界某種算法或者函數(shù)的逼近，也可能是對(duì)一種邏輯策略的表達(dá)。

　　人工神經(jīng)網(wǎng)絡(luò)(ANN)以大腦處理機(jī)制作為基礎(chǔ)，開(kāi)發(fā)用于建立復(fù)雜模式和預(yù)測(cè)問(wèn)題的算法。該類型算法在語(yǔ)音、語(yǔ)義、視覺(jué)、各類游戲等任務(wù)中表現(xiàn)極好，但需要大量數(shù)據(jù)進(jìn)行訓(xùn)練，且訓(xùn)練要求很高的硬件配置。

　　ANN在圖像和字符識(shí)別中起著重要的作用，手寫(xiě)字符識(shí)別在欺詐檢測(cè)甚至國(guó)家安全評(píng)估中有很多應(yīng)用。ANN 的研究為深層神經(jīng)網(wǎng)絡(luò)鋪平了道路，是「深度學(xué)習(xí)」的基礎(chǔ)，現(xiàn)已在計(jì)算機(jī)視覺(jué)、語(yǔ)音識(shí)別、自然語(yǔ)言處理等方向開(kāi)創(chuàng)了一系列令人激動(dòng)的創(chuàng)新。

　　2.決策樹(shù)

　　在機(jī)器學(xué)習(xí)中，決策樹(shù)是一個(gè)預(yù)測(cè)模型，他代表的是對(duì)象屬性與對(duì)象值之間的一種映射關(guān)系。其采用一種樹(shù)形結(jié)構(gòu)，其中每個(gè)內(nèi)部節(jié)點(diǎn)表示一個(gè)屬性上的測(cè)試，每個(gè)分支代表一個(gè)測(cè)試輸出，每個(gè)葉節(jié)點(diǎn)代表一種類別。

　　決策樹(shù)算法屬于非參數(shù)型，較為容易解釋，但其趨向過(guò)擬合;可能陷入局部最小值中;無(wú)法在線學(xué)習(xí)。決策樹(shù)的生成主要分為兩步：1.節(jié)點(diǎn)的分裂：當(dāng)一個(gè)節(jié)點(diǎn)所代表的屬性無(wú)法給出判斷時(shí)，則選擇將該節(jié)點(diǎn)分成2個(gè)子節(jié)點(diǎn) 2. 閾值的確定：選擇適當(dāng)?shù)拈撝凳沟梅诸愬e(cuò)誤率最小。

　　分類樹(shù)(決策樹(shù))是一種十分常用的分類方法。它是一種監(jiān)督學(xué)習(xí)，所謂監(jiān)督學(xué)習(xí)就是給定一堆樣本，每個(gè)樣本都有一組屬性和一個(gè)類別，這些類別是事先確定的，那么通過(guò)學(xué)習(xí)得到一個(gè)分類器，這個(gè)分類器能夠?qū)π鲁霈F(xiàn)的對(duì)象給出正確的分類。這樣的機(jī)器學(xué)習(xí)就被稱之為監(jiān)督學(xué)習(xí)。

　　3.集成算法

　　簡(jiǎn)單算法一般復(fù)雜度低、速度快、易展示結(jié)果，其中的模型可以單獨(dú)進(jìn)行訓(xùn)練，并且它們的預(yù)測(cè)能以某種方式結(jié)合起來(lái)去做出一個(gè)總體預(yù)測(cè)。每種算法好像一種專家，集成就是把簡(jiǎn)單的算法組織起來(lái)，即多個(gè)專家共同決定結(jié)果。

　　集成算法比使用單個(gè)模型預(yù)測(cè)出來(lái)的結(jié)果要精確的多，但需要進(jìn)行大量的維護(hù)工作。

　　AdaBoost的實(shí)現(xiàn)是一個(gè)漸進(jìn)的過(guò)程，從一個(gè)最基礎(chǔ)的分類器開(kāi)始，每次尋找一個(gè)最能解決當(dāng)前錯(cuò)誤樣本的分類器。好處是自帶了特征選擇，只使用在訓(xùn)練集中發(fā)現(xiàn)有效的特征，這樣就降低了分類時(shí)需要計(jì)算的特征數(shù)量，也在一定程度上解決了高維數(shù)據(jù)難以理解的問(wèn)題。

　　4.回歸算法

　　回歸分析是在一系列的已知自變量與因變量之間的相關(guān)關(guān)系的基礎(chǔ)上，建立變量之間的回歸方程，把回歸方程作為算法模型，通過(guò)其來(lái)實(shí)現(xiàn)對(duì)新自變量得出因變量的關(guān)系。因此回歸分析是實(shí)用的預(yù)測(cè)模型或分類模型。

　　在線性回歸中，數(shù)據(jù)使用線性預(yù)測(cè)函數(shù)來(lái)建模，并且未知的模型參數(shù)也是通過(guò)數(shù)據(jù)來(lái)估計(jì)。這些模型被叫做線性模型。最常用的線性回歸建模是給定X值的y的條件均值是X的仿射函數(shù)。不太一般的情況，線性回歸模型可以是一個(gè)中位數(shù)或一些其他的給定X的條件下y的條件分布的分位數(shù)作為X的線性函數(shù)表示。像所有形式的回歸分析一樣，線性回歸也把焦點(diǎn)放在給定X值的y的條件概率分布，而不是X和y的聯(lián)合概率分布(多元分析領(lǐng)域)。

　　線性回歸是回歸分析中第一種經(jīng)過(guò)嚴(yán)格研究并在實(shí)際應(yīng)用中廣泛使用的類型。這是因?yàn)榫€性依賴于其未知參數(shù)的模型比非線性依賴于其未知參數(shù)的模型更容易擬合，而且產(chǎn)生的估計(jì)的統(tǒng)計(jì)特性也更容易確定。

　　線性回歸模型經(jīng)常用最小二乘逼近來(lái)擬合，但他們也可能用別的方法來(lái)擬合，比如用最小化“擬合缺陷”在一些其他規(guī)范里(比如最小絕對(duì)誤差回歸)，或者在橋回歸中最小化最小二乘損失函數(shù)的懲罰.相反,最小二乘逼近可以用來(lái)擬合那些非線性的模型.因此，盡管“最小二乘法”和“線性模型”是緊密相連的，但他們是不能劃等號(hào)的。

　　5.貝葉斯算法

　　樸素貝葉斯分類是一種十分簡(jiǎn)單的分類算法：對(duì)于給出的待分類項(xiàng)，求解在此項(xiàng)出現(xiàn)的條件下各個(gè)類別出現(xiàn)的概率，哪個(gè)最大，就認(rèn)為此待分類項(xiàng)屬于哪個(gè)類別。

　　樸素貝葉斯分類分為三個(gè)階段，1.根據(jù)具體情況確定特征屬性，并對(duì)每個(gè)特征屬性進(jìn)行適當(dāng)劃分，形成訓(xùn)練樣本集合2.計(jì)算每個(gè)類別在訓(xùn)練樣本中的出現(xiàn)頻率及每個(gè)特征屬性劃分對(duì)每個(gè)類別的條件概率估計(jì)3.使用分類器對(duì)待分類項(xiàng)進(jìn)行分類。

　　分類是數(shù)據(jù)分析和機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)基本問(wèn)題。文本分類已廣泛應(yīng)用于網(wǎng)絡(luò)信息過(guò)濾、信息檢索和信息推薦等多個(gè)方面。數(shù)據(jù)驅(qū)動(dòng)分類器學(xué)習(xí)一直是近年來(lái)的熱點(diǎn)，方法很多，比如神經(jīng)網(wǎng)絡(luò)、決策樹(shù)、支持向量機(jī)、樸素貝葉斯等。相對(duì)于其他精心設(shè)計(jì)的更復(fù)雜的分類算法，樸素貝葉斯分類算法是學(xué)習(xí)效率和分類效果較好的分類器之一。直觀的文本分類算法，也是最簡(jiǎn)單的貝葉斯分類器，具有很好的可解釋性，樸素貝葉斯算法特點(diǎn)是假設(shè)所有特征的出現(xiàn)相互獨(dú)立互不影響，每一特征同等重要。但事實(shí)上這個(gè)假設(shè)在現(xiàn)實(shí)世界中并不成立：首先，相鄰的兩個(gè)詞之間的必然聯(lián)系，不能獨(dú)立;其次，對(duì)一篇文章來(lái)說(shuō)，其中的某一些代表詞就確定它的主題，不需要通讀整篇文章、查看所有詞。所以需要采用合適的方法進(jìn)行特征選擇，這樣樸素貝葉斯分類器才能達(dá)到更高的分類效率。