SEO优化

当前位置:AG亚游集团 > SEO优化 >

教你看懂网站日志文件

时间:2015-05-28        阅读:次        QQ群:182913345

        作为SEOer,我们使用的各种各样的工具,以收集各式各样的技术问题,网站分析,抓取诊断,百度站长工具等。所有这些工具是有用的,但都无法比拟在网站日志数据分析搜索引擎蜘蛛抓取,就像Googlebot到爬取您的网站并您的网站上留下了一个真实的记录。这是网络服务器日志。日志是一个强大的源数据经常没有得到充分利用,但有助于保持您的网站的搜索引擎抓取检查的完整性。
 
        服务器日志是由一个特定的服务器进行详细记录了每一个动作。在一个Web服务器的情况下,你可以得到很多有用的信息。如何检索和分析日志文件,并根据您的服务器的响应代码(404,302,500等)的识别问题。我将它分解成2个部分,每个部分突出不同的问题,可以发现在您的Web服务器日志
 
        一、获取日志文件
 
        搜索引擎抓取网站信息必会在服务器上留下信息,这个信息就在网站日志文件里。我们通过日志可以了解搜索引擎的访问情况,一般通过主机服务商开通日志功能,再通过FTP访问网站的根目录,在根目录下可以看到一个log或者weblog文件夹,这里面就是日志文件,我们把这个日志文件下载下来,用记事本(或浏览器)打开就可以看到网站日志的内容。那么到底这个日志里面隐藏了什么玄机呢?其实日志文件就像飞机上的黑匣子。我们可以通过这个日志了解很多信息,那么到底这个日志给我们传递了什么内容呢?下面先做一个简单的说明。
 
        日期:这将让你一天搜索引擎抓取速度的发展趋势进行分析。
        被爬取文件:这将告诉你哪些被抓取的目录和文件,并在某些路段或类型的内容可以帮助查明问题。
        状态码:(只列出常见到并能直接反正网站问题的状态码)
        200状态码:请求已成功,请求所希望的响应头或数据体将随此响应返回。
        302状态码:请求的资源现在临时从不同的URI响应请求。
        404状态码:请求失败,请求所希望得到的资源未被在服务器上发现。
        500状态码:服务器遇到了一个未曾预料的状况,导致了它无法完成对请求的处理。
        - - 提供了哪些网页被爬虫运行到并反应出什么样的问题。
        从哪里来:虽然这不一定是有用的分析搜索机器人,它是非常有价值的,其他的流量分析。
        哪种爬虫:这个会告诉你哪个搜索引擎爬虫在你的网页上运行的。
 
        二、解析网站日志文件
 
        现在你需要一个日志分析工具,因为如果你的网站有几M或几十M甚至百M以上的日志数据时,你不可能一条条去看。再说,就算日志数据不多,一条条看也是不科学的。这里用光年seo日志分析工具为大家做个例子。
 
        1.导入文件到您解析软件。
        2.分析网站日志及时发现出现的问题
 

 
        搜索引擎抓取您的网站有最快的方式是看在正在服务的服务器响应代码。404(找不到页面)可能意味着抓取那珍贵的资源被浪费了;302重定向请求的资源现在临时从不同的URI响应请求;500是服务器遇到了一个未曾预料的状况,导致了它无法完成对请求的处理,可以分析出服务器出现的问题。虽然网站管理工具提供了一些信息,这样的错误,会给你的网站造成一个非常大的影响。
 
        分析的第一步是从您的日志数据,通过光年seo日志分析工具以产生一个数据表。在最基本的层面上,让我们看看哪些搜索引擎的爬虫在爬行这个网站:  
 

 
        通过报表我们想几个问题:
 
        a.雅虎蜘蛛总抓取量占了全部的47.12%;那么我从流量统计器看到。没有一个流量是从雅虎搜索引擎过来的。那么这个蜘蛛可不可以禁止他再来访问呢?
        b.百度蜘蛛(BaiDu Spider )的访问次数、停留的时间、总抓取量反应了什么呢?
        c.其它搜索引擎的蜘蛛的访问次数、停留的时间、总抓取量那么少的原因是什么呢?有没有改善的方法呢?
 
        接下来,让我们来看看在蜘蛛状态码分析,我们最关心的问题。
 
 
        这是只显示这个日志有问题的蜘蛛状态码,而已正常200将不被分析。我们将要细看这个表格。总体而言,好到坏的比例看起来很健康,但有一些个别的问题让我们尝试弄清楚这是怎么回事。
 
        302出现的问题数量是可以接受的,但是不代表可以放着不去处理,我们应该有更好的方法来处理这些问题,也许用一个robots.txt指令应排除这些页面被抓取。
 
        404的出现达到109个。在几万的抓取量来说。网站的这个数据也算是可以的。但是也需要解决,找出潜在的问题是隔离404目录或者使用rel =”nofollow”注释这些404链接。当然404的页面也必须要有。

上一篇:AG亚游集团提升百度权重的方法

下一篇:AG亚游集团另一个角度看SEO

扫一扫,更多精彩内容推送

PHP技术分享

分享PHP技术,前端技术,数据库,SEO优化,服务器,网络安全等知识,是php程序员工作学习的好帮手!

Copyright © 2013-2015.PHP技术分享 AG亚游集团 www.zhanxiqi.com  版权所有  网站地图    AG亚游集团

免责声明:网站内容收集于互联网,本网站不承担任何由于内容的合法性及健康性所引起的争议和法律责任。

欢迎大家对网站内容侵犯版权等不合法和不健康行为进行监督和举报。 沪ICP备15014499号-2

一图读懂:中国扩大进口的“购物车”都装了啥? 元宵节孙悦晒全家福照片其乐融融 一年内第二艘 中国第六艘071型船坞登陆舰下水 英超欧冠第一场大考就砸了!曼联切尔西能行吗 中超-巴坎布首球韦世豪世界波 国安2-1客胜苏宁 中学账户240万教材费遭窃被赌博团伙用来“洗钱” 英国办的这场婚礼价值85个亿 新郎俩前女友也到场 港媒:日本提升海陆空反舰战力 欲封锁中国海军 中国这方面领先世界 日本企业高层组团急来取经 张继科出席劳伦斯颁奖礼 晒合影为费德勒打call 美媒惊叹中国能源武器全“绿色”:将替代美成主宰 环球时报:换国务卿 美国会对世界更强硬吗
卡帅恒大足协杯再次启程 三年前曾遭尴尬一轮游 货基规模、收益率“双降”:近7日折算年化收益率3.5% 当总统1年身家缩水 特朗普福布斯富豪榜狂跌222名 U23新政VAR施行中超进球如麻 四土帅马林前景担忧 维斯塔潘:汉密尔顿撞我 FIA怎么不判 新组建的国务院7大组成部门都由谁揭牌? 中国载人深潜新征程:深海勇士号首获深海水虱(图) 美通过国防授权法修正案:维持至少2.2万驻韩美军 内马尔:摔倒才能站起来 整个巴西和我一起站起来 北京消防:督促餐饮场所至少2小时进行1次防火巡查 从“选举女王”到囚犯:韩首位女总统被闺蜜拉下马 马云去了趟央行之后,支付宝正式宣布被“收编”!
环太军演压轴大戏:美军航母率几十艘战舰秀武力(图) 浙江报价媲美NBA中产条款 天价合同碾压哈德森 贵州省委组织部副部长于杰任山东省政府党组成员 民警执勤时脱掉警服做这事 网友纷纷点赞 午盘:担忧贸易战升级 道指一度下跌520点 新华社:人工饲养繁育东北虎 比父母养孩子还要难 日本为出云号改航母找借口:或将供美军战机起降 第10000架波音737下线 有望打破客机产量记录 挖沙导致领土流失? 西媒:印尼已被“挖走”25座岛 什么生意前景好 女孩学什么技术有前途 微信赚钱的三大方法 适合农村办厂的项目 AG亚游集团