ITBear旗下自媒體矩陣:

百度百科大動(dòng)作!屏蔽谷歌必應(yīng),防內(nèi)容被抓取訓(xùn)練AI?

   時(shí)間:2024-08-22 11:22:35 來(lái)源:ITBEAR作者:沈如風(fēng)編輯:瑞雪 發(fā)表評(píng)論無(wú)障礙通道

【ITBEAR】8月22日消息,近期,有報(bào)道指出,百度百科采取了新措施,對(duì)谷歌、必應(yīng)等眾多搜索引擎實(shí)施了屏蔽策略,此舉被推測(cè)是為了防止這些搜索引擎及其他爬蟲(chóng)未經(jīng)授權(quán)抓取其內(nèi)容用于人工智能訓(xùn)練。

根據(jù)百度百科的robots.txt文件顯示,目前僅有幾個(gè)搜索引擎被授權(quán)可以抓取其內(nèi)容,包括百度搜索、搜狗搜索、中國(guó)搜索(Chinaso)、YYSpider以及宜搜搜索(EasouSpider)。

據(jù)ITBEAR了解,谷歌搜索、必應(yīng)搜索、微軟MSN、UC瀏覽器的Yisouspider以及其他所有搜索引擎爬蟲(chóng)均被明確禁止訪問(wèn)百度百科的內(nèi)容。盡管360搜索并未在封禁名單中單獨(dú)列出,但由于百度百科的策略是禁止所有非白名單爬蟲(chóng),因此360搜索和其他搜索引擎同樣受到了屏蔽。

然而,這種屏蔽措施或許只能阻擋一部分訪問(wèn),仍有許多爬蟲(chóng)可能會(huì)通過(guò)其他方式繼續(xù)抓取內(nèi)容并用于AI訓(xùn)練。

舉報(bào) 0 收藏 0 打賞 0評(píng)論 0
 
 
更多>同類(lèi)資訊
全站最新
熱門(mén)內(nèi)容