写于:2020-03-18		最近一次更新:2020-03-18

Intent:

找出网站里的死链

Oneway:

使用wget写了个简单的小脚本,用来检测自己小站里所有的无效链接 cat ./checklinks.sh #!/bin/sh targetweb="118.178.183.172" mkdir ./$targetweb cd $targetweb wget --spider -nd -nv \ --user-agent="Mozilla/5.0 (X11; Linux x86_64; rv:74.0) Gecko/20100101 Firefox/74.0" \ -o brokenlinks.txt -m $targetweb sed -i -n '/^Found .* broken links.$/,$ p' brokenlinks.txt 执行脚本后得到的 brokenlinks.txt 文件里记录了发现的死链, 然后找出引用了这些死链的网页文件,修正即可

Extend:

对 brokenlinks.txt 文件内容进行简单的排序和去重 删除第一行 sed -i '1d' brokenlinks.txt 删除最后三行 sed -i '$d' brokenlinks.txt sed -i '$d' brokenlinks.txt sed -i '$d' brokenlinks.txt 排序和去重 cat brokenlinks.txt | sort | uniq > brokenlinks.txt