自分のサイトの記事が「クロール済み - インデックス未登録」になってしまう理由について、ネット上ではごく一般的な見解しか書かれておらず、実情を書いているサイトが見つからなかったので、ここで私なりの見解を書かせて頂きたいと思います。
Google Search Consoleの「カバレッジ」ではサイト内の各ページのインデックス登録状況を確認できます。
この中の「クロール済み - インデックス未登録」には、通常はカテゴリやアーカイブなどのインデックス登録の必要が無いページが含まれるのですが、本来インデックス登録して欲しい主要なページ(記事ページ)もここに含まれていることがあります。
「クロール済み - インデックス未登録」とは文字通り、クロールしたけれども何らかの理由によりGoogle検索エンジンにインデックス登録されなかった状態を示します。この状態では、Googleの検索結果に表示されません。
クロール済み - インデックス未登録: ページは Google によりクロールされましたが、インデックスには登録されていません。今後、インデックスに登録される可能性がありますが、登録されない可能性もあります。この URL のクロールのリクエストを再送信する必要はありません。
主要なページ(記事ページ)がこのようにインデックス登録から除外される理由は、Googleから低品質なコンテンツだと見なされている、というのがあります。
ただしこれはあくまでGoogleの判断であり、実際に低品質かどうかとは別です。
前提としてサイトのトップページから容易にアクセス可能になっており、重複コンテンツや内容の薄いコンテンツ等では無いことを確認してください。これら基本的なことは抑えているにも関わらず、インデックス登録から除外される場合があります。
近年Googleはサイトの品質を測る機能を強化しており、記事の内容を見るだけではなく、「専門性・権威性・信頼性」という基準を設け、それらが高いサイトを高品質だと判断するようになっています。「専門性・権威性・信頼性」は略して「E-A-T」と呼ばれます。
参考:SEO対策に最重要のE-A-Tとは?3つを高める対策も紹介
つまり、例え記事の内容が充実しておりオリジナリティが高かったとしても、このE-A-Tが高くないと判断されると、品質の低い記事だと見なされる可能性があるということです。
特に個人の小規模なブログの記事はE-A-Tを高める余地が少ないため、Googleから低品質だと見なされやすくなります。一方で企業のサイトやジャンル特化型のサイトが高品質だと見なされやすくなっています。
そして特にE-A-Tが重視されるのが「YMYL」と呼ばれる分野です。YMYLとは「Your Money or Your Life(あなたのお金や生活)」の略で、これに大きく影響する分野(金融・医療・法律など)を表します。
参考:YMYLとは?対象ジャンルやSEO対策ポイントについて解説!
Googleはこのようにして独自の品質評価を用い、低品質な記事だと判断したものについては検索結果の下位に表示するか、検索結果から除外するか、または「クロール済み - インデックス未登録」としてインデックス登録からそもそも除外してしまうことがあるということのように思います。
私のブログ記事でも、疾患(アトピー)に関する個人的な経験を書いた記事はインデックス登録されません。また、投資に関する記事の一部もインデックス登録されません。YMYLが影響しているように感じます。YMYL以外の分野で除外されている記事もあります。
ここまで解説してきましたが、もしかしたら別の理由で除外されていることも考えられますので、まずは基本的なSEO対策を確認した上で、それでもインデックス登録されない場合はGoogleによる品質評価が働いた可能性が考えられるのではないかと思います。
どのようにすれば少しでもE-A-Tを高められるかですが、考えられるのは「信頼性の高いサイトへのリンクを貼る」「信頼性の高いサイトから引用する」といったことです。
信頼性の高いサイトとは、その分野における専門家のサイトや公的機関のサイト、専門企業のサイトなどで、少なくともGoogle検索で上位表示されるサイトである必要があります。
リンクを貼る場合はアンカーテキストを適切に設定し、引用する場合はblockquoteタグを使います。
しかしもちろん、ユーザーにとって何の役にも立たないリンクを貼る行為は推奨できません。
また、著者やサイトについてのプロフィール情報(運営者情報)を充実させることも有効であるようです。非専門家の個人であれば、資格や個人情報を書くことは出来ないと思いますが、それ以外のことで自分のことを知ってもらえるような情報を書くことはできます。
個人的にはGoogleの品質評価は恣意的に過ぎるように思います。個人の非専門サイトの記事でも有用な記事は沢山あるし、逆に企業のサイトや専門サイトでも低品質な記事は沢山あります。
このようなGoogleの品質評価はGoogle独自のものであり、BingやDuckDuckGoなどの検索エンジンではここまで品質評価は強くありません。
私はGoogleの検索エンジンに疑問を感じ、BingまたはDuckDuckGoも試してみたところ、検索結果にかなりの違いがあることが分かりました。それについての記事はこちらを参照してください→[検索エンジン比較] Googleへの疑問 - BingやDuckDuckGoとの違い