
robots.txt文件生成器
点击收藏-
全局设置
-
限制目录
-
Sitemap
-
国内搜索引擎
-
国外搜索引擎
1、robots.txt(统一小写)是一种存放于网站根目录下的文本文件,它通常告诉网络搜索引擎蜘蛛,此网站中的哪些内容是可以被收录哪些不可以被收录。
2、robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下
3、如想单独定义搜索引擎蜘蛛访问子目录的行为,那么可以将自定的设置合并到根目录下的robots.txt
4、robots.txt协议并不是一个规范,而只是约定俗成的,所以并不能保证网站的隐私
5、注意robots.txt是用字符串比较来确定是否获取URL,所以目录末尾有与没有斜杠“/”表示的是不同的URL
robots.txt文件内容1、搜索引擎蜘蛛的是否可访问性或者说可爬行性
2、搜索引擎蜘蛛针对目录或者文件的可访问性
3、网站站点地图sitemap路径定义
4、搜索引擎蜘蛛爬行的时间间隔限制
关于robots.txt文件生成器1、通过web界面设置好要配置的数据, 点击生成即可生成robots.txt文件内容
2、创建一个空白的文本文件,命名为:“robots.txt”,然后把上面的内容,复制并粘贴到“robots.txt”中去
3、把“robots.txt”放在你网站的根目录,访问robots.txt,确保他能让搜索蜘蛛访问到
推荐工具
感谢信
生成多种场景下的感谢信
小红书知识博主读书文案
AI帮您快速生成小红书风格的书籍核心内容
通告写作
帮您更好的按照公文写作的要求撰写通告
AES加密解密工具
AES在线加密工具/AES在线解密工具
半球体积计算
在线计算半球体的体积
不锈钢方管重量在线计算
在线计算不锈钢方管的重量
扇形面积计算器
在线通过角度或弧度来计算扇形的面积
时间加减计算器
对指定的时间进行加减计算工具
中国历代皇帝查询
在线查询历代皇帝及执政时间
颜色匹配度计算器
精准计算颜色间的匹配程度,帮助用户轻松获取美感搭配方案。
各国国旗在线查询
在线查询世界各国的旗帜
国债收益计算器
在线国债收益利息计算工具
图片格式转换
一款安全,免费的在线图片格式转换工具
姓名生成器
一款可以随机生成男生女生姓名的小工具
年化收益率计算器
在线计算年化收益率利息
NTP服务器地址大全
网络时间同步服务器地址大全
文章一键排版工具
网页版文章一键在线排版工具
PDF文件页面转长图片
在线将PDF文件中的所有页面转为单一长图
屏幕颜色拾取
在线屏幕颜色拾取工具
Punycode编码/解码
中文域名在线Punycode编码解码工具
闰年闰月查询
阳历闰年/农历闰月在线查询工具
在线shield badge生成
在线生成SVG格式的shield badge
速度换算器
速度在线换算工具
在线手机号码提取工具
在线从内容中批量提取手机号