网站 robots.txt 文件说明
发表于|更新于|高效工作
|总字数:120|阅读时长:1分钟
robots.txt 可以告诉搜索引擎您的网站哪些页面可以被收录,哪些页面不可以被收录
如果不想让搜索引擎收录您网站的某些内容,请用 robots.txt 文件指定搜索引擎在您网站上的抓取范围
最简单的严格写法1
2
3
4
5
6
7
8User-agent: *
Disallow: /wp-*
#Allow: /wp-content/uploads/
Disallow: /*.php$
Disallow: /*.inc$
Disallow: /*.js$
Disallow: /*.css$
Disallow: /?s=
最合理的写法1
2
3
4
5
6User-agent: *
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-includes
Disallow: /?s=
文章作者: 君玉自牧
版权声明: 本博客所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 君玉自牧!
相关推荐

2018-11-26
10 个简单智能的 CSS 代码
垂直对齐在使用 CSS 的时候,你可能会出现疑问,我如何在容器中将文本或元素垂直对齐。现在使用 CSS3 Transforms,我们可以更有效解决这问题,如下:1234567.verticalcenter { position: relative; top: 50%; -webkit-transform: translateY(-50%); -o-transform: translateY(-50%); transform: translateY(-50%);}使用这个技术,文本、段落等都可以垂直对齐,CSS3 Transform 支持 Chrome 4, Opera 10, Safari 3, Firefox 3, Internet Explorer 9。 元素拉伸为全屏高度一般来说,你可能会想要把元素拉伸为全屏高度,问本元素调整只会调整容器的大小,因此元素跨越整个窗口高度就需要在 html 、 body 上做文章。123html, body { height: 100%;}任何元素 100% 高度,如下:1div { ...

2019-08-03
网站 .htaccess 文件说明
一、.htaccess 文件.htaccess 文件又叫分布式配置文件,是 Apache 中针对目录改变配置的方法。即,在一个特定的文档目录中放置一个包含一个或多个指令的文件,以作用于此目录及其所有子目录。作为用户,所能使用的命令受到限制。管理员可以通过 Apache 的 AllowOverride 指令来设置。子目录中的指令会覆盖更高级目录或者主服务器配置文件中的指令。.htaccess 必须以 ASCII 模式上传,最好将其权限设置为 644。 二、可以做的事1.错误文档的定位常用的客户端请求错误返回代码:401 Authorization Required403 Forbidden404 Not Found405 Method Not Allowed408 Request Timed Out411 Content Length Required412 Precondition Failed413 Request Entity Too Long414 Request URI Too Long415 Unsupported Media Type 2.常见的服务器错误返回代码:5...

2024-10-29
静态博客不完全食用指北
NotionNextNotionNext 是一个使用 NextJS + Notion API 实现的静态博客系统,只要在 Notion 写好文章就会自动同发布为静态博客,从而专注于写作、而不需要操心网站的维护。文档 Docusaurus中文网站123##快速简单地安装 Docusaurus 并搭建网站框架(包含模板文件),开启 Typescript 支持npx create-docusaurus@latest my-website classic --typescriptnpm start Hexo1234567891011npm install hexo-cli -ghexo -vhexo init Librarycd Librarynpm installnpm install hexo-theme-butterflynpm update hexo-theme-butterflygit clone -b master https://github.com/jerryc127/hexo-theme-butterfly.git themes/butterfly# 主题https:/...

2023-11-21
33 个 JavaScript 代码
日期处理检查日期是否有效该方法用于检测给出的日期是否有效:12const isDateValid = (...val) => !Number.isNaN(new Date(...val).valueOf());isDateValid("December 17, 1995 03:24:00"); // true 计算两个日期之间的间隔该方法用于计算两个日期之间的间隔时间:12const dayDif = (date1, date2) => Math.ceil(Math.abs(date1.getTime() - date2.getTime()) / 86400000)dayDif(new Date("2021-11-3"), new Date("2022-2-1")) // 90距离过年还有 90 天~ 查找日期位于一年中的第几天该方法用于检测给出的日期位于今年的第几天:12const dayOfYear = (date) => Math.floor((date - new Date(date.get...

2024-07-07
学习记录:前端
网站HTML5CSS3ECMAScript 5 、6PromiseGeneratorsLESSReactReact RouterReduxAntdMockJSDvaJSUmiJS 优化首页加载速度优化项目在现有框架基础上,不改变框架结构,从纯前端角度加快首页加载速度,减少用户等待时的白屏时间,提升用户体验。优化思路采用 localStorage 缓存,在页面加载时,要改动两个内容:首先判断当前 JS 文件是否有更新,根据 document.scripts 可以拿到页面中所有\标签的内容,将文件名和缓存中的对比来判断是否更新了 JS 文件,如果有更新就不使用缓存,需要重新加载数据。如果是更新了的文件,还需要再将新的文件名缓存下来,下次再进入这个页面时用于判断。在请求首页数据之前,从 localStorage 中获取当前页面的数据缓存,把缓存设置到 modal 中,之后按照原本的逻辑请求数据 代码举例在原本进页面后,准备加载数据时增加如下代码:1234567891011121314151617181920212223242526// 首先获取全部 script 标签let scrip...

2020-04-19
SSL 证书申请 & 自动续期
网页申请有大量的第三方平台可以申请免费的 SSL 证书,例如一直在用的阿里云:一个账号一年可以申请 20 个,无论对于公司还是个人都足够了。 自助管理如果网站不是部署在阿里云,那么设置证书以及续期操作起来就有点麻烦,特别是网站巨多(成百上千)的情况 宝塔如果是普通的建站(PHP-FPM 或者静态网站),宝塔面板挺好用的1yum install -y wget && wget -O install.sh http://www.aapanel.com/script/install_6.0_en.sh && bash install.sh forum 自搭但是架不住量多,而宝塔的自动续期有时候会出问题,这时候就得有一个可以批量申请、续期的命令行工具 acme.shacme.sh 实现了 acme 协议,可以从 letsencrypt 生成免费的证书 安装脚本1curl https://get.acme.sh | sh -s email=my@yuwei.cc 普通用户和 root 用户都可以安装使用,安装过程进行了以下几步: 把 acme.sh 安装...
公告
🕯️ 我年华虚度,已是十年踪迹十年「新」



