robots.txtの書き方

 robots.txtとは？

robots.txtは、検索エンジンのクローラーに対して、ウェブサイト内のどのページをクロールし、インデックス化するかを指示するためのシンプルなテキストファイルです。

主な役割

  • 特定のページへのアクセス制限: 検索エンジンが特定のページをクロールしないように指示できます。
  • クロール速度の調整: クロール頻度を制限することで、サーバーへの負荷を軽減できます。
  • サイトマップの通知: サイトマップの場所を指定することで、検索エンジンがサイトの構造をより深く理解しやすくなります。

robots.txtの書き方

robots.txtファイルは、非常にシンプルな構文で記述します。

基本的な構文

User-agent: クローラーの名前
Disallow: アクセスを禁止するディレクトリまたはファイルのパス
Allow: アクセスを許可するディレクトリまたはファイルのパス
Sitemap: サイトマップのURL

例

User-agent: Googlebot
Disallow: /admin/
Disallow: /cgi-bin/
Sitemap: https://example.com/sitemap.xml

解説

  • User-agent: どのクローラーに指示を出すかを指定します。Googlebot以外にも、Bingbot、YandexBotなどがあります。
  • Disallow: 指定したディレクトリまたはファイルへのアクセスを禁止します。
  • Allow: Disallowで禁止した一部のページへのアクセスを許可する場合に利用します。
  • Sitemap: サイトマップのURLを指定します。

robots.txtの注意点

  • 正確なパス: DisallowやAllowで指定するパスは、正確に記述する必要があります。誤ったパスを指定すると、意図しないページがクロールされない可能性があります。
  • 相対パスと絶対パス: 相対パスと絶対パスのどちらを使用しても構いませんが、一貫して使用するようにしましょう。
  • 大文字小文字: DisallowやAllowは、大文字小文字を区別しません。
  • ワイルドカード: アスタリスク（*）を使用することで、複数のページを一括で指定できます。
  • 複数のルール: 複数のUser-agentに対して異なるルールを指定できます。
  • 優先順位: robots.txtファイル内のルールは、上から順に処理されます。

robots.txtの設置場所

robots.txtファイルは、ウェブサイトのルートディレクトリに配置します。

robots.txtのテスト

robots.txtが正しく機能しているか確認するために、Google Search Consoleなどのツールを利用してテストすることができます。

robots.txtの活用例

  • 開発中のページの非表示: 公開前のページを検索結果から除外したい場合。
  • 重複コンテンツの対策: 同じ内容のページが複数ある場合、検索エンジンに1つのページのみをインデックス化させたい場合。
  • 特定のページへのアクセス制限: 管理画面など、一般ユーザーに公開したくないページへのアクセスを制限したい場合。

まとめ

robots.txtは、ウェブサイトのSEO対策において重要な役割を果たします。適切に設定することで、検索エンジンのクローラーを効率的に誘導し、ウェブサイトの評価向上に繋げることができます。

より詳しい情報を知りたい場合は、以下のリンクも参考にしてください。


コメント

コメントを投稿

このブログの人気の投稿

PortProtonとは

  PortProtonは、Linux上でWindowsのゲームやソフトウェアを簡単に実行するためのツールです。 Valveが開発した「Proton」という互換レイヤーをベースにしていますが、PortProtonはSteamクライアントに統合されているProtonとは異なり、SteamがなくてもWindowsアプリケーションを実行できるのが特徴です。 主な機能や特徴は以下の通りです。 簡単な実行 : 数クリックでWindowsのゲームやソフトウェアをLinux上で起動できます。 Protonの利用 : ValveのProton技術を利用しており、Windowsアプリケーションの互換性を高めます。 Steam不要 : SteamクライアントなしでWindowsアプリケーションを実行できるため、より汎用的に使えます。 依存関係の管理 : 必要なライブラリや依存関係を自動的に管理し、ユーザーの手間を省きます。 細かい設定 : ゲームごとに互換レイヤー、シェーダー、グラフィック設定などを細かく制御できます。 LinuxでWindowsのゲームをプレイしたい場合や、特定のWindowsソフトウェアをLinux環境で動かしたい場合に便利なツールと言えるでしょう。
Read more »

HTA+JScriptでウインドウのサイズ変更するプログラム

HTAとJScriptを使って、ウインドウのサイズを変更する、基本的なコード例を紹介します。 <html> <head> <title>ウインドウサイズ変更</title> <script> function resizeWindow() { // ウインドウの幅と高さを設定 window.resizeTo(640, 480); } </script> </head> <body> <input type="button" value="ウインドウサイズ変更" onclick="resizeWindow()"> </body> </html> このコードを実行すると、ボタンをクリックするとウインドウのサイズが640x480ピクセルに変更されます。
Read more »

JavaScript ステートメント一覧

1. 変数宣言と代入 var キーワード：変数を宣言します。 let キーワード：ブロックスコープの変数を宣言します。 const キーワード：定数を宣言します。 = 演算子：変数に値を代入します。 例： JavaScript var x = 10 ; // 数値型変数を宣言 let y = "Hello" ; // 文字列型変数を宣言 const z = true ; // ブール型定数を宣言 x = 20 ; // 変数の値を変更 y = "World" ; z = false ; // 定数は変更できない 2. 条件分岐 if ステートメント：条件式に基づいて処理を分岐します。 else ステートメント： if ステートメントの条件が偽の場合に処理を実行します。 else if ステートメント：複数の条件を順番にチェックできます。 例： JavaScript if (x > 10 ) { console .log( "x は 10 より大きい" ); } else { console .log( "x は 10 以下" ); } if (y === "Hello" ) { console .log( "y は 'Hello' です" ); } else if (y === "World" ) { console .log( "y は 'World' です" ); } else { console .log( "y は 'Hello' でも 'World' でもありません" ); } 3. ループ処理 for ループ：一定回数処理を繰り返します。 while ループ：条件が真の間処理を繰り返します。 do...while ループ：処理を少なくとも一度実行してから、条件が真の間処理を繰り返します。 例： JavaScript for ( var i = 0 ; i < 10 ; i++) { console...
Read more »

中居・フジテレビ問題時系列

  中居正広さんとフジテレビを巡る一連の問題は、2023年6月に中居さんと女性との間で発生したとされるトラブルに端を発し、その後のフジテレビ側の対応や報道によって大きく展開しました。以下に主な出来事を時系列でまとめます。 発端と初期対応 2023年5月31日: 中居さんの自宅マンションでバーベキューが開催され、フジテレビ社員も参加していたと報じられています。 2023年6月初旬: 中居さんと女性との間でトラブルが発生したとされます。 2023年6月: フジテレビは、社員が女性と話したことにより事案を認識しました。女性からは事態を公にせず、仕事への復帰を強く望む意向が示されたとされています。フジテレビは事案を「極めてセンシティブな領域の問題」と認識し、情報管理を徹底したと説明しています。 2023年7月: 中居さんからフジテレビ社員に連絡があり、中居さんが女性とは異なる認識を持っていることをフジテレビ側が把握したとされます。 2023年8月: フジテレビの社長に事案が報告されました。当時、当事者間での示談が進んでいるとの情報もあり、フジテレビは調査を躊躇する一因になったと説明しています。 2023年9月中旬頃まで: 中居さんから女性に対し、一方的なショートメールの送信があったと報じられています。 2023年11月～2024年: 中居さんと女性の間で示談が成立したと報じられています。 2023年4月: 中居さんが出演するフジテレビの番組「まつもtoなかい」（後に「だれかtoなかい」に改題）が放送開始。フジテレビは、開始から間もなく番組を終了させることは憶測を呼ぶと憂慮したと説明しています。 報道とフジテレビの対応、第三者委員会の設置 2024年12月19日: 「女性セブン」が、中居さんと女性との間のトラブルを初めて報じました。 2024年12月25日: 「週刊文春」が、中居さんが女性に高額な示談金を支払ったなどと報じました。 2024年12月27日: フジテレビは、役員らがトラブルのあったとされる食事会そのものには関与していないとの声明を発表。中居さんは自身の有料会員サイトで謝罪コメントを発表しました。 2025年1月8日: 「週刊文春」が続報で、フジテレビ社員の関与や局側の隠蔽疑惑などを報じました。 2025...
Read more »

ツイフェミってなに？おじさんでもわかるように教えてGemini先生

  ツイフェミについて、おじさんにもわかるように解説しますね。 「ツイフェミ」は、 「Twitter（ツイッター）」  と  「フェミニスト」  を組み合わせた造語です。 簡単に言うと、 Twitter上で活動しているフェミニスト を指します。 ただ、単に「Twitterを使っているフェミニスト」というだけでなく、以下のような特徴を持つ人や言動を批判的・揶揄的に指すことが多いです。 過激な発言や極端な主張 : 「男性は全員〇〇だ」といった、すべての男性をひとくくりにするような過激な発言や、女性の権利を主張するあまり、男性の存在を否定するような極端な主張をすることがあります。 攻撃的な言動 : 自分の意見に賛同しない人に対して、強い言葉で攻撃したり、相手を罵倒したりする傾向があります。 炎上を繰り返す : 社会的な問題について、一方的な視点から発信することで、しばしばインターネット上で大きな論争や炎上を引き起こします。 本来、フェミニズムは「女性の社会的・政治的・経済的権利を、男性と同等にしよう」という考え方です。 しかし、「ツイフェミ」という言葉は、その本来のフェミニズムの目的から逸脱しているように見える、特定の言動を批判する際に使われることが多い、というニュアンスを覚えておくとよいでしょう。 つまり、「ツイフェミ」は、 「Twitterで過激なフェミニズムを主張する人たち」  を指す、 少しネガティブな意味合いを持つ言葉 と理解していただければと思います。
Read more »

【VBScript】文字列の置換

VBScriptで文字列の置換を行うには、Replace関数を使用する。 この関数は、指定した文字列内の特定の部分文字列を別の文字列に置き換える。 構文 Replace(expression, find, replacewith[, start[, count[, compare]]]) expression: 対象となる文字列。 find: 置換したい文字列。 replacewith: 置換後の文字列。 start (省略可能): 置換を開始する位置（デフォルトは1）。 count (省略可能): 置換する回数（デフォルトはすべて）。 compare (省略可能): 比較方法（vbBinaryCompareまたはvbTextCompare）。 Dim STR : STR = "Hello World" WScript.Echo "[" & STR & "]" STR = Replace(STR, "World", "VBScript") WScript.Echo "[" & STR & "]" 実行結果 C:\temp>cscript C:\temp\test.vbs Microsoft (R) Windows Script Host Version 5.812 Copyright (C) Microsoft Corporation. All rights reserved. [Hello World] [Hello VBScript]
Read more »

「Google 最高の画像モデルである Nano Banana」とは、いったい何ですか？

「Google 最高の画像モデルである Nano Banana」とは、Googleの画像生成・編集AIモデルである Gemini 2.5 Flash Image の開発コードネームです。 主な特徴 高い画像編集能力: 既存の画像の一部を自然に変更できます。例えば、服や髪型を変えたり、欠けた部分を補完したり、背景を除去したりすることが可能です。 キャラクターの一貫性維持: 同じ人物やキャラクターの見た目を保ったまま、背景やポーズを変えて複数の画像を生成できます。これは、アバターやキャラクターの衣装替え、シリーズものの画像作成に特に役立ちます。 直感的なプロンプト: 複雑な指示文（プロンプト）でなくても、簡単なフレーズでユーザーの意図を正確に把握し、高品質な画像を生成します。 高速処理: わずか数秒で高品質な画像を出力できます。 これらの特徴から、 Nano Banana は単なる画像生成ツールではなく、画像をより思い通りに編集できる「画像編集ツール」としても高く評価されています。
Read more »

HTA+VBScriptでフォルダ選択ダイアログボックスを表示する方法

HTA（HTML Application）と VBScript を組み合わせてフォルダ選択ダイアログボックスを表示する方法はいくつかありますが、一般的なのは Shell.Application オブジェクトの BrowseForFolder メソッドを使用する方法です。 以下に基本的なコード例を示します。 HTML <!DOCTYPE html > < html > < head > < title > フォルダ選択 </ title > < hta:application applicationname = "FolderSelect" border = "thin" caption = "yes" icon = "" maximizebutton = "no" minimizebutton = "yes" scroll = "no" showintaskbar = "yes" singleinstance = "yes" sysmenu = "yes" windowstate = "normal" > < script language = "VBScript" > Sub SelectFolder() Dim objShell, objFolder, strFolderPath ' Shell.Application オブジェクトを作成 Set objShell = CreateObject("Shell.Application") ' フォルダ選択ダイアログを表示 ' 引数の説明: ' 0: 親ウィンドウのハンドル (通常は 0) ' "フォルダを選択してください": ダイ...
Read more »