一、工具选纰谬,速度直截了当打半数?3招挑对"快枪手"
刚开端用批量扫描工具时,你是不是也踩过坑?满心欢欣找了个收费工具,后果扫描几十页就卡住,半小时进度条文风不动,急得直拍桌子。事实上啊,工具没选对,就像开车没挑对路,再好的技术也白费。
看办事器节点够不敷多 我们优先选那些在全球有多个办事器节点的工具,好比Ahrefs和SEMrush,人家在欧美、亚太都有节点,扫描分歧地域的网站时,能自动选比来的节点,速度自然快。你要是扫的是国际网站,也能够试试国际的工具,像5118,针对中文网站优化得不错,扫描国际站点比一些国外工具快很多。
看支持的批量数量 有些工具讲是批量扫描,后果一次只能扫几十页,略微多一点就报错。像Screaming Frog的付费版,一次能扫几万页,只需你电脑配置够,批量处置毫无压力。还有DeepCrawl,专门针对大型网站,一次扫描几十万页都没咨询题,合适做全站检测。
看有没有API接口 假如你常常需求批量扫描,好比每周都要检测一次网站,那带API接口的工具就太香了。你能够本身写个脚本,按时调用API停止扫描,不消手动操作,省很多工夫。好比Botify就有弱小的API,能和你的任务流程无缝对接,自动化处置批量扫描义务。
二、参数设置太复杂,拖累速度没磋商?4步骤出"极速形式" 好不容易选对了工具,后果参数设置没弄好,速度依然上不去。不慌,我们一步步来,把参数调成最合适你的形式。
调低并发数 非常多工具默许的并发数太高,好比同时开50个线程扫描,电脑带宽基本扛不住,反而容易卡顿。你能够按照本身的网络状况调整,普通家庭宽带设5 - 10个并发数就行,公司带宽好点的,设15 - 20个。好比在Screaming Frog里,点击"配置"-"蜘蛛"-"带宽限制",就能轻松调整并发数。
扫除有关URL 网站里总有一些不需求扫描的页面,像登录页、后台办理页、PDF文件、图片站等,这些页面扫描起来又慢又没用,还占资源。你能够在工具里设置过滤规则,把这些URL扫除掉。好比在SEMrush的批量扫描里,添加扫除形式,输出"login|admin|pdf|jpg",就能自动跃过这些页面。
增加爬取深度 爬取深度太深,会扫描到非常多深层页面,好比产品概况页里的分页、评论页等,这些页面数量多,扫描起来费工夫。普通我们做SEO检测,爬取深度设为3 - 4层就够了,次要关注重要的页面。在DeepCrawl里,就能非常便利地设置爬取深度,按照本身的需求调整就行。
封闭不用要的检测项 每个工具都有非常多检测功用,好比链接检测、关键词密度检测、元标签检测等,有些功用你暂时不需求,就能够 关掉。好比你这次次要检测broken link,就把关键词密度检测关掉,增加扫描的任务量,速度自然就提下去了。
三、一次性扫全站,办事器扛不住?3招分批处置更高效 想着一次性把全站几千上万页扫描完,后果工具直截了当卡死,办事器还发来正告邮件,讲你拜候频率太高。不贪婪,分批处置才是明智之举。
按域名分批 假如你的网站有多个子域名,好比blog.example.com、shop.example.com,那就分开扫描,每次只扫一个子域名。如此每个义务的量不大,工具处置起来轻松,办事器也可不能有压力。好比用Screaming Frog,先扫主域名,再扫各个子域名,分批次停止。
按目录分批 把网站按目录分红几个部门,好比首页、产品目录、旧事资讯、用户中心等,每次扫描一个目录。好比先扫产品目录下的页面,这些页面是重点优化的,检测完没咨询题再扫旧事资讯页。在Ahrefs里,你能够经过设置扫描途径,指定只扫描某个目录。
按优先级分批 把页面按重要水平排序,先扫首页、频道页、高流量的产品页,这些页面妨碍大,先检测出咨询题赶忙修复。然后再扫低流量的页面、长尾关键词页面。你能够用Google Analytics看看哪些页面流量高,导出URL列表,优先扫描。好比SEMrush就支持导入自定义的URL列表,按你的优先级停止扫描。
四、搅扰要素太多,扫描像蜗牛爬?3招肃清"绊脚石" 扫描时总有一些乌七八糟的东西拖后腿,好比页面上的广告、静态加载的内容、JavaScript错误,让扫描速度慢得让人抓狂。不焦急,我们把这些搅扰要素处理掉。
屏蔽广告元素 非常多网站为了搞钞票,页面上全是广告,什么弹窗广告、漂浮广告、横幅广告,扫描的时分工具还要加载这些广告资源,糜费工夫。你能够用工具自带的屏蔽功用,或许阅读器的广告阻拦插件,把广告元素屏蔽掉。好比在Screaming Frog里,你能够添加CSS选择器,屏蔽广告所在的div区域,如此扫描时就可不能加载广告内容了。
处置JavaScript渲染 有些页面用了少量JavaScript,好比单页使用、静态生成的内容,工具扫描时需求渲染这些JavaScript,耗时非常长。假如你的检测不触及JavaScript执行后的内容,好比只检测静态的HTML标签,那就能够 封闭JavaScript渲染,或许用无头阅读器形式,只加载需要的内容。好比Botify就支持选择能否渲染JavaScript,按照你的需求选择,能节省很多工夫。
疏忽反复内容 网站里能够有非常多反复的内容,好比分歧URL但内容相反的页面、参数分歧但内容一样的页面,这些页面扫描起来糜费工夫,还会搅扰检测后果。你能够在工具里设置去重规则,疏忽这些反复内容。好比在DeepCrawl里,能自动检测反复内容,并跃过扫描,进步效率。
如今我们把这些技巧都试过一遍,下次用批量扫描工具是不是就内心无数了?从选对工具到调好参数,再到分批处置和扫除搅扰,每一步都能让扫描速度快起来。你平常用批量扫描工具时,有没有遇到过特不糟心的卡顿?试试这些办法,讲不定就能省下大半天摸鱼工夫!还有啥高效技巧,评论区甩出来我们一同唠唠?
上述内容从工具选择、参数设置等方面给出了高效运用批量扫描工具的办法。你对这些技巧能否称心,或许还有其他弥补需求,都能够跟我讲。
AISEO助理,AI批量生成文章,SEO文章生成工具,SEO原创文章生成,AI媒体助理,AI自动回复,AI自动评论,媒体账号管理,自媒体一键分发