搜索引擎蜘蛛(又叫爬蟲、Crawler、Spider等)是搜索引擎的一個自動程序。它的作用是訪問互聯網上的網頁，建立索引數據庫，使用戶能在搜索引擎中搜索到你網站的網頁。每個搜索引擎的蜘蛛名字都是不一樣的，接下來小編爲你介紹國內幾個主流搜索引擎蜘蛛的名稱。
1. Google蜘蛛名稱
1) Googlebot：從Google的網站索引和新聞索引中抓取網頁
2) Googlebot-Mobile針對Google的移動索引抓取網頁
3) Googlebot-Image：針對Google的`圖片索引抓取網頁
4) Mediapartners-Google：抓取網頁確定 AdSense 的內容。只有在你的網站上展示 AdSense 廣告的情況下，Google纔會使用此漫遊器來抓取您的網站。
5) Adsbot-Google：抓取網頁來衡量 AdWords 目標網頁的質量。只有在你使用 Google AdWords 爲你的網站做廣告的情況下，Google纔會使用此漫遊器。
2. 百度蜘蛛名稱：Baiduspider 首字母B大寫，其餘爲小寫
3. 雅虎(Yahoo!)蜘蛛名稱：
1)Yahoo!搜索蜘蛛名稱：Yahoo! Slurp。
2)Yahoo!搜索引擎廣告蜘蛛：Yahoo!-AdCrawler。 用來抓取Yahoo!搜索引擎廣告登陸頁網頁
4. 有道蜘蛛名稱：YodaoBot
5. 騰訊搜搜soso蜘蛛名稱：Sosospider 首字母S大寫，其餘爲小寫
6. 搜狗(sogou)蜘蛛名稱：sogou spider
7. Live蜘蛛名稱
1)MSNBot：Main web crawler ()
2)MSNBot-Media：Images & all other media ()
3)MSNBot-NewsBlogs：News and blogs ()
4)MSNBot-Products：Products & shopping ()
5)MSNBot-Academic：Academic search ()