Utiliser l'API d'indexation

Pr�sentation

L'API d'indexation vous permet de signaler � Google que des pages de son index doivent �tre mises � jour ou supprim�es. Les requ�tes doivent sp�cifier l'emplacement des pages Web concern�es. L'API d'indexation vous permet �galement de consulter l'�tat des notifications que vous avez envoy�es � Google. Actuellement, elle ne peut �tre utilis�e que pour explorer des pages contenant des donn�es structur�es de type JobPosting ou BroadcastEvent dans un �l�ment VideoObject.

Lorsque vous envoyez une requ�te � l'API d'indexation, d�finissez l'emplacement d'une page Web autonome pour informer Google que celle-ci peut �tre explor�e ou supprim�e de son index.

Les exemples suivants illustrent les actions que vous pouvez effectuer avec l'API d'indexation�:

Mettre � jour une URL

Send the following HTTP POST request to https://indexing.googleapis.com/v3/urlNotifications:publish endpoint
{
  "url": "/proxy/https://developers.google.com/jobs/google/technical-writer?__proxy_cookies_to=https%3A%2F%2Fcareers.google.com%2Fjobs%2Fgoogle%2Ftechnical-writer",
  "type": "URL_UPDATED"
}
Supprimer une URL

Send the following HTTP POST request to https://indexing.googleapis.com/v3/urlNotifications:publish endpoint
{
  "url": "/proxy/https://developers.google.com/jobs/google/technical-writer?__proxy_cookies_to=https%3A%2F%2Fcareers.google.com%2Fjobs%2Fgoogle%2Ftechnical-writer",
  "type": "URL_DELETED"
}
Consulter l'�tat des notifications

Send a HTTP GET request to https://indexing.googleapis.com/v3/urlNotifications/metadata endpoint

Param�tres

Le tableau suivant d�crit les champs n�cessaires � toutes les m�thodes (mise � jour et suppression d'une URL)�:

Champs
url

Obligatoire

URL compl�te de l'�l�ment que vous souhaitez mettre � jour ou supprimer.
type

Obligatoire

Type de notification que vous avez envoy�.

Consignes

Les consignes suivantes s'appliquent aux requ�tes de mise � jour et de suppression d'une URL.

  • Tous les appels � https://indexing.googleapis.com/v3/UrlNotifications:publish DOIVENT utiliser" "application/json" comme en-t�te Content-Type.
  • Vous pouvez soit envoyer une seule URL dans le corps d'une requ�te de mise � jour, soit combiner jusqu'� 100�requ�tes dans un lot, comme d�crit dans la section Envoyer des requ�tes d'indexation par lot.
  • Le corps de la requ�te dans ces exemples correspond � la valeur de la variable content utilis�e dans les exemples de jetons d'acc�s.

Mettre � jour une URL

Pour informer Google qu'une nouvelle URL doit �tre explor�e ou que le contenu d'une URL d�j� explor�e a �t� mis � jour, proc�dez comme suit�:

  1. Envoyez une requ�te POST au point de terminaison suivant�:
    Send a HTTP POST request to https://indexing.googleapis.com/v3/urlNotifications:publish
  2. Dans le corps de la requ�te, sp�cifiez l'emplacement de la page � l'aide de la syntaxe suivante�: 
    {
  "url": "content_location",
  "type": "URL_UPDATED"
}
  3. Google envoie la r�ponse HTTP 200 aux appels de l'API d'indexation qui aboutissent. Une r�ponse HTTP 200 signifie que Google tentera de r�explorer cette URL prochainement. Le corps de la r�ponse contient un objet UrlNotificationMetadata, dont les champs correspondent � ceux renvoy�s par une demande d'�tat de notification.
  4. Si vous ne recevez pas de r�ponse HTTP 200, consultez les erreurs propres � l'API d'indexation.
  5. Si le contenu de la page change, envoyez une autre notification de mise � jour, ce qui devrait inciter Google � la r�explorer.
  6. Vous aurez peut-�tre besoin de plus de quota que celui par d�faut. Pour consulter votre quota actuel et en demander plus, consultez la section Quota.

Supprimer une URL

Une fois que vous avez supprim� une page de vos serveurs ou que vous avez ajout� la balise <meta name="robots" content="noindex" /> dans la section <head> d'une page donn�e, contactez Google pour que nous puissions supprimer la page de notre index et que nous ne puissions plus l'explorer ni l'indexer. Avant de demander la suppression, l'URL doit renvoyer un code d'�tat�404 ou 410, ou la page doit contenir une balise meta <meta name="robots" content="noindex" />.

Pour demander la suppression d'une page de notre index, proc�dez comme suit�:

  1. Envoyez une requ�te POST au point de terminaison suivant�:
    Send a HTTP POST request to https://indexing.googleapis.com/v3/urlNotifications:publish
  2. Sp�cifiez l'URL que vous souhaitez supprimer dans le corps de la requ�te � l'aide de la syntaxe suivante�: 
    {
  "url": "content_location",
  "type": "URL_DELETED"
}

    Exemple�:

    {
  "url": "/proxy/https://developers.google.com/jobs/google/technical-writer?__proxy_cookies_to=https%3A%2F%2Fcareers.google.com%2Fjobs%2Fgoogle%2Ftechnical-writer",
  "type": "URL_DELETED"
}
  3. Google envoie la r�ponse HTTP 200 aux appels de l'API d'indexation qui aboutissent. Une r�ponse HTTP 200 signifie que Google tentera de supprimer cette URL de l'index. Le corps de la r�ponse contient un objet UrlNotificationMetadata, dont les champs correspondent � ceux renvoy�s par une demande d'�tat de notification.
  4. Si vous ne recevez pas de r�ponse HTTP 200, consultez les erreurs propres � l'API d'indexation.
  5. Vous aurez peut-�tre besoin de plus de quota que celui par d�faut. Pour consulter votre quota actuel et en demander plus, consultez la section Quota.

Consulter l'�tat des notifications

Vous pouvez utiliser l'API d'indexation pour v�rifier la derni�re fois que Google a re�u chaque type de notification pour une URL donn�e. La requ�te GET n'indique pas quand Google indexera ou supprimera l'URL, mais confirme si votre requ�te initiale a abouti.

Pour obtenir l'�tat d'une notification, proc�dez comme suit�:

  1. Envoyez une requ�te GET au point de terminaison ci-dessous. Les URL que vous sp�cifiez doivent �tre cod�es en URL. Par exemple, remplacez : (deux-points) par %3A et / (barres obliques) par %2F. 
    Send a HTTP GET request to https://indexing.googleapis.com/v3/urlNotifications/metadata?url=url-encoded_url

    Exemple�:

    GET https://indexing.googleapis.com/v3/urlNotifications/metadata?url=https%3A%2F%2Fcareers.google.com%2Fjobs%2Fgoogle%2Ftechnical-writer
  2. L'API d'indexation r�pond avec le message HTTP 200, avec une charge utile contenant des d�tails sur la notification. L'exemple suivant illustre le corps d'une r�ponse contenant des informations sur une notification de mise � jour et de suppression�: 
    {
  url: "/proxy/http://foo.com",
  latest_update: {
    type: "URL_UPDATED",
    notify_time: "2017-07-31T19:30:54.524457662Z"
  },
  latest_remove: {
    type: "URL_DELETED",
    notify_time: "2017-08-31T19:30:54.524457662Z"
  }
}
  3. Si vous ne recevez pas de réponse HTTP 200, consultez les erreurs propres à l'API d'indexation.
  4. Vous aurez peut-être besoin de plus de quota que celui par défaut. Pour consulter votre quota actuel et en demander plus, consultez la section Quota.

Envoyer des requêtes d'indexation par lot

Pour réduire le nombre de connexions HTTP que votre client doit établir, vous pouvez combiner jusqu'à 100 appels à l'API d'indexation dans une seule requête HTTP. Pour ce faire, il suffit de recourir à une requête en plusieurs parties, également appelée "requête de traitement par lot".

Lors de l'envoi d'une requête de traitement par lot à l'API d'indexation, utilisez le point de terminaison suivant :

https://indexing.googleapis.com/batch

Le corps d'une requête de traitement par lot contient plusieurs parties. Chacune d'elles est en elle-même une requête HTTP complète, avec sa syntaxe, son URL, son en-tête et son corps spécifiques. Chaque partie d'une requête de traitement par lot ne peut pas dépasser 1 Mo.

Les bibliothèques clientes des API Google permettent l'envoi de requêtes de traitement par lots. Pour en savoir plus sur cette fonctionnalité, reportez-vous aux pages suivantes en fonction du langage de programmation qui vous intéresse :

Si vous utilisez les exemples de traitement par lot indiqués sur ces pages, vous devrez peut-être mettre à jour le code afin de refléter les exigences de mise en œuvre décrites dans la section Obtenir un jeton d'accès.

L'exemple suivant de corps de message d'une requête de traitement par lot comprend une notification de mise à jour et une notification de suppression :

POST /batch HTTP/1.1
Host: indexing.googleapis.com
Content-Length: content_length
Content-Type: multipart/mixed; boundary="===============7330845974216740156=="
Authorization: Bearer oauth2_token

--===============7330845974216740156==
Content-Type: application/http
Content-Transfer-Encoding: binary
Content-ID: <b29c5de2-0db4-490b-b421-6a51b598bd22+2>

POST /v3/urlNotifications:publish [1]
Content-Type: application/json
accept: application/json
content-length: 58

{ "url": "/proxy/http://example.com/jobs/42", "type": "URL_UPDATED" }
--===============7330845974216740156==
Content-Type: application/http
Content-Transfer-Encoding: binary
Content-ID: <b29c5de2-0db4-490b-b421-6a51b598bd22+1>

POST /v3/urlNotifications:publish [2]
Content-Type: application/json
accept: application/json
content-length: 75

{ "url": "/proxy/http://example.com/widgets/1", "type": "URL_UPDATED" }
--===============7330845974216740156==
Content-Type: application/http
Content-Transfer-Encoding: binary
Content-ID: <b29c5de2-0db4-490b-b421-6a51b598bd22+3>

POST /v3/urlNotifications:publish [3]
Content-Type: application/json
accept: application/json
content-length: 58

{ "url": "/proxy/http://example.com/jobs/43", "type": "URL_DELETED" }
--===============7330845974216740156==

Pour plus d'informations, consultez la section concernant l'envoi de requ�tes par lot.