2022年2月16日

百度蜘蛛IP段判断

搜索引擎蜘蛛ip反查 http://www.ab173.com/zhanzhang/spider.php 优质段   116.179.32.*:新版百度蜘蛛,高权重段,一般抓取文章页。IP段位于山西阳泉联通。百度云计算阳泉中心位于世界最大中文搜索引擎百度公司创始人李彦宏的家乡山西省阳泉经济开发区东区。   220.181.108.75:重点抓取更新文章的内页达到90%,8%抓取首页,2%其他。权重IP 段,爬过的文章或首页基本24小时放出来。   220.181.108.77:专用抓首页IP权重段,一般返回代码是304 0 0 代表未更新。   220.181.108.80:专用抓取首页IP权重段,一般返回代码是304 0 0 代表未更新。   220.181.108.82:抓取tag页面。   220.181.108.83…
2022年2月13日

搜索引擎蜘蛛 UserAgent

搜索引擎蜘蛛 UserAgent Google蜘蛛 Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) Bing蜘蛛 Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) 百度蜘蛛 Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) 360搜索蜘蛛 mozilla/5.0 (windows nt 6.1; wow64) applewebkit/537.36 (khtml, like gecko) chrome/50.0.2661.102 safari/537.36; 360…
2022年2月5日

301 重定向

https://ahrefs.com/blog/301-redirects/#how-to-do-a-301-redirect  What is a 301 redirect? A 301 redirect indicates the permanent moving of a web page from one location to another. The 301 part refers to the HTTP status code of the redirected page. Example: blog.ahrefs.com redirects to ahrefs.com/blog In simple terms, a 301 redirect tells the browser: “This page has moved permanently. This is the new location and w…
2022年2月5日

List of User Agent Strings

http://useragentstring.com/pages/useragentstring.php  List of User Agent Strings ALL CRAWLERS008ABACHOBotAccoona-AI-AgentAddSugarSpiderBotAnyApexBotArachmoB-l-i-t-z-B-O-TBaiduspiderBecomeBotBeslistBotBillyBobBotBimbotBingbotBlitzBOTboitho.com-dcboitho.com-robotbtbotCatchBotCerberian DrtrsCharlotteConveraCrawlercosmosCovario IDSDataparkSearchDiamondBotDiscobotDot…