【ITBEAR】8月22日消息，近期，有報道指出，百度百科采取了新措施，對谷歌、必應等眾多搜索引擎實施了屏蔽策略，此舉被推測是為了防止這些搜索引擎及其他爬蟲未經授權抓取其內容用于人工智能訓練。
根據百度百科的robots.txt文件顯示，目前僅有幾個搜索引擎被授權可以抓取其內容，包括百度搜索、搜狗搜索、中國搜索(Chinaso)、YYSpider以及宜搜搜索(EasouSpider)。
據ITBEAR了解，谷歌搜索、必應搜索、微軟MSN、UC瀏覽器的Yisouspider以及其他所有搜索引擎爬蟲均被明確禁止訪問百度百科的內容。盡管360搜索并未在封禁名單中單獨列出，但由于百度百科的策略是禁止所有非白名單爬蟲，因此360搜索和其他搜索引擎同樣受到了屏蔽。
然而，這種屏蔽措施或許只能阻擋一部分訪問，仍有許多爬蟲可能會通過其他方式繼續(xù)抓取內容并用于AI訓練。
