2022年2月23日
- 全部
- Cat
- Database
- Git Tutorial 1
- Html/CSS
- JavaScript
- Linux
- Linux
- MySQL/MariaDB
- PostgreSQL
- Programming
- Python
- Python
- RegExp
- Vue3 Guide
- Git
- Html Tutorial
- JavaScript
- MDN References
- MySQL Tutorial
- MySQL/MariaDB
- NAS
- PostgreSQL 14.1 Manual
- Programming
- Python HM
- Vue3 API
- Database
- Database
- JavaScript HM
- PostgreSQL
- PostgreSQL Mod Docs
- Python
- Python Tutorial
- Router
- Vue3 Tutorial 1
- Web API Tutorial
- Windows
- Android
- JavaScript
- JavaScript Tutorial
- OS
- Python Data Tutorial
- Redis
- Vue3 Tutorial 2
- C Tutorial
- Git Tutorial 2
- Html/CSS
- JavaScript ES6 Tutorial
- Practice
- Python 3.12.1 Docs
- Vue3 Tutorial 3
- Django
- PHP
- Software
- Vue
- Vue3 Tutorial 4
- C/C++
- Django3.1 Tutorial
- Hardware
- Network
- RegExp
- English
- RegExp Info
- WordPress
- Linux Command
- Maths/AI
- Resource
- Essays
- Google Style Guide
- General
- Memorandum
- Games
- Recipes
- 未分类
- SEO
- Virtualization
- Office
- ERP
- Django 5.0.2 Docs
2022年2月16日
搜索引擎蜘蛛ip反查 http://www.ab173.com/zhanzhang/spider.php
优质段
116.179.32.*:新版百度蜘蛛,高权重段,一般抓取文章页。IP段位于山西阳泉联通。百度云计算阳泉中心位于世界最大中文搜索引擎百度公司创始人李彦宏的家乡山西省阳泉经济开发区东区。
220.181.108.75:重点抓取更新文章的内页达到90%,8%抓取首页,2%其他。权重IP 段,爬过的文章或首页基本24小时放出来。
220.181.108.77:专用抓首页IP权重段,一般返回代码是304 0 0 代表未更新。
220.181.108.80:专用抓取首页IP权重段,一般返回代码是304 0 0 代表未更新。
220.181.108.82:抓取tag页面。
220.181.108.83…
2022年2月13日
搜索引擎蜘蛛 UserAgent
Google蜘蛛 Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Bing蜘蛛 Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
百度蜘蛛 Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
360搜索蜘蛛 mozilla/5.0 (windows nt 6.1; wow64) applewebkit/537.36 (khtml, like gecko) chrome/50.0.2661.102 safari/537.36; 360…
2022年2月5日
https://ahrefs.com/blog/301-redirects/#how-to-do-a-301-redirect
What is a 301 redirect?
A 301 redirect indicates the permanent moving of a web page from one location to another.
The 301 part refers to the HTTP status code of the redirected page.
Example: blog.ahrefs.com redirects to ahrefs.com/blog
In simple terms, a 301 redirect tells the browser: “This page has moved permanently. This is the new location and w…
2022年2月5日
http://useragentstring.com/pages/useragentstring.php
List of User Agent Strings
ALL
CRAWLERS008ABACHOBotAccoona-AI-AgentAddSugarSpiderBotAnyApexBotArachmoB-l-i-t-z-B-O-TBaiduspiderBecomeBotBeslistBotBillyBobBotBimbotBingbotBlitzBOTboitho.com-dcboitho.com-robotbtbotCatchBotCerberian DrtrsCharlotteConveraCrawlercosmosCovario IDSDataparkSearchDiamondBotDiscobotDot…
2021年11月21日