많은 경우 웹마스터들은 자신의 웹사이트 SEO가 제대로 이루어지고 있는지 매우 중요하게 생각합니다. 따라서 다양한 웹마스터 도구를 확인할 때 어떤 크롤러가 자신의 웹사이트를 방문했는지도 알고 싶어 하는데, 이는 검색 엔진이 우리 웹사이트를 얼마나 선호하는지와 관련이 있기 때문입니다.

따라서 웹사이트 로그를 확인하여 스파이더의 방문 상황을 모니터링할 수 있습니다. 오늘 공유할 내용은 WordPress에서 PHP 코드를 활용해 스파이더 방문 로그를 기록하는 방법이며, 아래는 해당 코드입니다.

// 统计蜘蛛
function get_naps_bot(){
    $useragent = strtolower($_SERVER['HTTP_USER_AGENT']);
    if (strpos($useragent, 'googlebot') !== false) {
        return 'Googlebot';
    }
    if (strpos($useragent, 'msnbot') !== false) {
        return 'MSNbot';
    }
    if (strpos($useragent, 'slurp') !== false) {
        return 'Yahoobot';
    }
    if (strpos($useragent, 'baiduspider') !== false) {
        return 'Baiduspider';
    }
    if (strpos($useragent, 'sohu-search') !== false) {
        return 'Sohubot';
    }
    if (strpos($useragent, 'lycos') !== false) {
        return 'Lycos';
    }
    if (strpos($useragent, 'robozilla') !== false) {
        return 'Robozilla';
    }
    return false;
}

function nowtime(){
    date_default_timezone_set('Asia/Shanghai');
    $date = date("Y-m-d.G:i:s");
    return $date;
}

$searchbot = get_naps_bot();
if ($searchbot) {
    $tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']);
    $url = $_SERVER['HTTP_REFERER'];
    $file = "robotslogs.txt";
    $time = nowtime();
    $data = fopen($file, "a");
    $PR = $_SERVER['REQUEST_URI'];
    fwrite($data, "Time: $time robot: $searchbot URL: $tlc_thispage\n page: $PR\r\n");
    fclose($data);
}

주의

코드를 추가하기 전에 웹사이트 루트 디렉터리에 txt 텍스트 파일 robotslogs.txt를 새로 만들고, 해당 파일의 권한을 777로 설정해야 합니다. 그런 다음 해당 파일에 접속하면 스파이더의 방문 기록을 확인할 수 있어 매우 편리합니다.