SEO优化

当前位置:AG亚游集团 > SEO优化 >

教你看懂网站日志文件

时间:2015-05-28        阅读:次        QQ群:182913345

        作为SEOer,我们使用的各种各样的工具,以收集各式各样的技术问题,网站分析,抓取诊断,百度站长工具等。所有这些工具是有用的,但都无法比拟在网站日志数据分析搜索引擎蜘蛛抓取,就像Googlebot到爬取您的网站并您的网站上留下了一个真实的记录。这是网络服务器日志。日志是一个强大的源数据经常没有得到充分利用,但有助于保持您的网站的搜索引擎抓取检查的完整性。
 
        服务器日志是由一个特定的服务器进行详细记录了每一个动作。在一个Web服务器的情况下,你可以得到很多有用的信息。如何检索和分析日志文件,并根据您的服务器的响应代码(404,302,500等)的识别问题。我将它分解成2个部分,每个部分突出不同的问题,可以发现在您的Web服务器日志
 
        一、获取日志文件
 
        搜索引擎抓取网站信息必会在服务器上留下信息,这个信息就在网站日志文件里。我们通过日志可以了解搜索引擎的访问情况,一般通过主机服务商开通日志功能,再通过FTP访问网站的根目录,在根目录下可以看到一个log或者weblog文件夹,这里面就是日志文件,我们把这个日志文件下载下来,用记事本(或浏览器)打开就可以看到网站日志的内容。那么到底这个日志里面隐藏了什么玄机呢?其实日志文件就像飞机上的黑匣子。我们可以通过这个日志了解很多信息,那么到底这个日志给我们传递了什么内容呢?下面先做一个简单的说明。
 
        日期:这将让你一天搜索引擎抓取速度的发展趋势进行分析。
        被爬取文件:这将告诉你哪些被抓取的目录和文件,并在某些路段或类型的内容可以帮助查明问题。
        状态码:(只列出常见到并能直接反正网站问题的状态码)
        200状态码:请求已成功,请求所希望的响应头或数据体将随此响应返回。
        302状态码:请求的资源现在临时从不同的URI响应请求。
        404状态码:请求失败,请求所希望得到的资源未被在服务器上发现。
        500状态码:服务器遇到了一个未曾预料的状况,导致了它无法完成对请求的处理。
        - - 提供了哪些网页被爬虫运行到并反应出什么样的问题。
        从哪里来:虽然这不一定是有用的分析搜索机器人,它是非常有价值的,其他的流量分析。
        哪种爬虫:这个会告诉你哪个搜索引擎爬虫在你的网页上运行的。
 
        二、解析网站日志文件
 
        现在你需要一个日志分析工具,因为如果你的网站有几M或几十M甚至百M以上的日志数据时,你不可能一条条去看。再说,就算日志数据不多,一条条看也是不科学的。这里用光年seo日志分析工具为大家做个例子。
 
        1.导入文件到您解析软件。
        2.分析网站日志及时发现出现的问题
 

 
        搜索引擎抓取您的网站有最快的方式是看在正在服务的服务器响应代码。404(找不到页面)可能意味着抓取那珍贵的资源被浪费了;302重定向请求的资源现在临时从不同的URI响应请求;500是服务器遇到了一个未曾预料的状况,导致了它无法完成对请求的处理,可以分析出服务器出现的问题。虽然网站管理工具提供了一些信息,这样的错误,会给你的网站造成一个非常大的影响。
 
        分析的第一步是从您的日志数据,通过光年seo日志分析工具以产生一个数据表。在最基本的层面上,让我们看看哪些搜索引擎的爬虫在爬行这个网站:  
 

 
        通过报表我们想几个问题:
 
        a.雅虎蜘蛛总抓取量占了全部的47.12%;那么我从流量统计器看到。没有一个流量是从雅虎搜索引擎过来的。那么这个蜘蛛可不可以禁止他再来访问呢?
        b.百度蜘蛛(BaiDu Spider )的访问次数、停留的时间、总抓取量反应了什么呢?
        c.其它搜索引擎的蜘蛛的访问次数、停留的时间、总抓取量那么少的原因是什么呢?有没有改善的方法呢?
 
        接下来,让我们来看看在蜘蛛状态码分析,我们最关心的问题。
 
 
        这是只显示这个日志有问题的蜘蛛状态码,而已正常200将不被分析。我们将要细看这个表格。总体而言,好到坏的比例看起来很健康,但有一些个别的问题让我们尝试弄清楚这是怎么回事。
 
        302出现的问题数量是可以接受的,但是不代表可以放着不去处理,我们应该有更好的方法来处理这些问题,也许用一个robots.txt指令应排除这些页面被抓取。
 
        404的出现达到109个。在几万的抓取量来说。网站的这个数据也算是可以的。但是也需要解决,找出潜在的问题是隔离404目录或者使用rel =”nofollow”注释这些404链接。当然404的页面也必须要有。

上一篇:AG亚游集团提升百度权重的方法

下一篇:另一个角度看SEO

扫一扫,更多精彩内容推送

PHP技术分享

分享PHP技术,前端技术,数据库,SEO优化,服务器,网络安全等知识,是php程序员工作学习的好帮手!

Copyright © 2013-2015.PHP技术分享 AG亚游集团 www.zhanxiqi.com  版权所有  网站地图    AG亚游集团

免责声明:网站内容收集于互联网,本网站不承担任何由于内容的合法性及健康性所引起的争议和法律责任。

欢迎大家对网站内容侵犯版权等不合法和不健康行为进行监督和举报。 沪ICP备15014499号-2

山西忻州出百万财政资金 奖励118户农民进城买房 日媒:东芝存储器因无法通过中国审查而取消出售 司法部:公职律师超2.4万人 今年将出规范性文件 博导开《恋爱心理学》走红:曾被性取向等问题难到 全国人大代表张宝艳:建议拐卖儿童罪不设诉讼时效 罗马大将亲承伤愈:我很好 不然不会随队战巴萨 被美坑怕了?“反华”起劲的这国急忙和中国套近乎 纽约一处公寓发现4人遭枪击死亡 包括一名5岁男孩 报告:中国共享经济未来五年望保持年均30%以上增长 政协委员倪闽景:将老年教育纳入基本公共教育范畴 天津女排如何笑到最后? 韧劲加霸气塑王者之师 刘建洋当选南昌市市长(图/简历)
伊拉克军方“诱捕”极端组织多名高级头目 人民日报聚焦“课外负担”:高考改革是真正牛鼻子 6架B52飞抵西太 美三大轰炸机时隔一年半再聚关岛 新援加盟让扎哈维非常兴奋:世界杯之后会更强大 色情App牟利1.4亿发展会员400多万 主犯获刑7年… 亚股上扬日经高开1% 特朗普签关税令对进口钢铝征税 孙兴慜状态好也担忧?韩主帅:世界杯时下滑了咋办 郭文贵海外爆料“绝密文件”真相 围棋之乡联赛移师中江 王谊:广泛交流互惠互助 四川眉山岷江大桥部分垮塌 4年前曾修复安全隐患 马拉松赛前吃多少?少吃,正常吃,狂吃?都对! 莱科宁:法拉利拥有一台好车 试车富有成效
新华网:战 魏江雷:冰球让孩子享受快乐 发挥新浪的平台价值 隔夜要闻:恐慌指数连跌7日道指连涨7天 美油累涨1.4… 朝鲜归还部分美军士兵遗骸 美军派运输机接回韩国 永昌新赛季全家福+写真将出炉 谁的美照值得期待? 撤销食药监总局后 国人离用上好药更近了吗? “大基金”资本局:3200亿芯片“国家队”浮出水面 武大靖:我没有天赋 体育的魅力就是翻越高峰 两失踪女童在小区保安床上找到 事后家长被踢出群 最有前景的十大行业 现在什么行业挣钱快 女人没经验开什么店好 家庭办厂项目废纸加工 AG亚游集团