Akamai今天推出了一款新的機(jī)器人管理器工具，以便讓企業(yè)能更精細(xì)地控制自己網(wǎng)站上的機(jī)器人流量。
有研究顯示，互聯(lián)網(wǎng)上近一半的流量來(lái)自機(jī)器人。據(jù)Akamai高級(jí)企業(yè)營(yíng)銷經(jīng)理雷尼·沈(RennyShen)介紹，機(jī)器人指和網(wǎng)站打交道的小程序，作用有好有壞。
值得一提的是，一些機(jī)器人表現(xiàn)得無(wú)害，而另外一些機(jī)器人可能是在抓取你網(wǎng)站上的信息或是分布式拒絕服務(wù)攻擊(DDoS)的一部分。當(dāng)然，機(jī)器人友好與否取決于網(wǎng)站所有者對(duì)其的看法。
雷尼表示道：“大部分人把機(jī)器人當(dāng)作攻擊者。在我看來(lái)，機(jī)器人就是自動(dòng)和網(wǎng)站交互的軟件。”這也是他認(rèn)為對(duì)機(jī)器人采取非此即彼的態(tài)度不合適的原因。
他說(shuō)道：“機(jī)器人流量很常見(jiàn)。因?yàn)槊總€(gè)網(wǎng)站都不同，每個(gè)客戶的需求都不一樣，所以我們讓客戶來(lái)決定該怎么控制機(jī)器人流量，而不是直接屏蔽。”
Akamai機(jī)器人管理器可以讓客戶對(duì)機(jī)器人流量進(jìn)行精細(xì)控制，讓他們理解流量的本質(zhì)，并采取他們覺(jué)得合適的操作，比如屏蔽、監(jiān)控、減速、欺騙或放行?？蛻魰?huì)怎么做取決于其公司的目標(biāo)。
比如，電子商務(wù)網(wǎng)站可以讓合作伙伴的價(jià)格爬蟲爬取自己的價(jià)格信息，屏蔽競(jìng)爭(zhēng)對(duì)手的爬蟲。一些公司甚至?xí)捎刑摷賰r(jià)格的網(wǎng)頁(yè)來(lái)欺騙機(jī)器人。
還有一些公司也許根本不想和機(jī)器人管理的細(xì)枝末節(jié)打交道，同時(shí)仍然能獲得這一工具的好處，Akamai也考慮了這一部分客戶。
這款工具可以讓客戶查看自己網(wǎng)站上所有機(jī)器人流量的全局圖，并可以獲得單個(gè)機(jī)器人的細(xì)節(jié)信息如主機(jī)名、來(lái)源IP地址、活動(dòng)類型以及對(duì)網(wǎng)站性能的影響。
一旦公司了解了這些細(xì)節(jié)，就可以制定針對(duì)某個(gè)機(jī)器人的最佳策略，并判斷這個(gè)機(jī)器人是好是壞。又或是好壞難辨。他舉了搜索引擎百度作為例子。
他表示，百度的機(jī)器人并不尊重robots.txt文件，在爬取網(wǎng)站時(shí)很激進(jìn)。這就讓一些想要在百度搜索引擎中取得排名的網(wǎng)站犯難了，擔(dān)心放任不管會(huì)影響網(wǎng)站性能。
Akamai的機(jī)器人管理器可以讓客戶管理某個(gè)機(jī)器人在爬取網(wǎng)站時(shí)的行為，而不是簡(jiǎn)單地屏蔽或放行。比如某個(gè)站長(zhǎng)在碰到百度的機(jī)器人時(shí)，可以放行但減緩其爬取網(wǎng)站的速度，以便在百度中取得排名，同時(shí)又減少對(duì)網(wǎng)站性能的影響。
這款機(jī)器人管理器工具將在本月底時(shí)正式推出，價(jià)格根據(jù)該服務(wù)處理的流量大小而定。
網(wǎng)站客服
粵公網(wǎng)安備 44030402000946號(hào)