Surveiller les performances des agents � l'aide de m�triques

Une fois lanc�, Business Messages suit les m�triques de performances cl�s pour votre agent. Vous pouvez acc�der � vos m�triques dans le Centre d'aide D�veloppeur de communications Console ou via BigQuery.

Si vous avez besoin d'analyses suppl�mentaires pour �valuer la r�ussite de votre agent, vous pouvez suivre les m�triques personnalis�es en surveillant les �v�nements et d'autres attributs de les conversations avec votre agent.

Acc�der � vos m�triques

Vous pouvez acc�der aux m�triques au niveau des partenaires et des agents dans un rapport Data�Studio via la console pour les d�veloppeurs Business Communications. Vous pouvez �galement utilisez BigQuery pour parcourir les m�triques de votre agent ou y acc�der par programmation.

Pour accorder � d'autres utilisateurs l'acc�s aux m�triques,

  1. Les ajouter en tant qu'utilisateurs � votre compte partenaire.
  2. Expliquez-lui comment acc�der aux m�triques via Business Communications. la console d�veloppeur ou BigQuery.

M�triques au niveau du partenaire

Les m�triques au niveau du partenaire affichent des donn�es pour tous les agents que vous g�rez.

  1. Ouvrez l'application Business Communications Developer Console et connectez-vous avec votre compte Google Business Messages.
  2. Au bas de la fiche Tableau de bord des m�triques, cliquez sur Afficher les m�triques.

M�triques au niveau de l'agent

Les m�triques au niveau de l'agent n'affichent que les donn�es de l'agent s�lectionn�.

  1. Ouvrez l'application Business Communications Developer Console et connectez-vous avec votre compte Google Business Messages.

  2. Choisissez votre agent.

    Les m�triques s'affichent dans la fiche Tableau de bord des m�triques.

Pour afficher des m�triques plus d�taill�es, cliquez sur Analytics dans le panneau de navigation de gauche.

M�triques via BigQuery

BigQuery est un service sans serveur, un entrep�t de donn�es �volutif et �conomique avec machine learning, l'acc�s aux donn�es et l'analyse pr�dictive. Vous pouvez acc�der aux donn�es dans BigQuery l'UI ou l'API BigQuery selon votre cas d'utilisation. Consultez la pr�sentation de BigQuery documentation.

Dans BigQuery, les donn�es de m�triques sont disponibles pendant un an et demi.

Pour acc�der aux m�triques d'agent dans BigQuery, vous devez remplir les conditions suivantes configuration requise:

Lorsque vous avez acc�s � BigQuery, vous pouvez acc�der aux donn�es de votre agent dans le projet, les ensembles de donn�es et les vues suivants:

  • ID du projet�: bizcomms-bm-metrics
  • Ensembles de donn�es: partner_metrics_user_views et partner_metrics_sa_views
  • Vues: message_metrics, session_metrics, quality_metrics et intent_metrics

Par exemple, pour afficher tous les champs de la vue message_metrics, vous pouvez utiliser la m�thode la requ�te suivante:

SELECT * FROM bizcomms-bm-metrics.partner_metrics_user_views.message_metrics

M�triques disponibles

Business Messages suit les m�triques dans quatre cat�gories: Message, Session, Qualit� et Intention.

Les �l�ments suivants sont communs aux diff�rentes cat�gories de m�triques:

M�trique D�finition Exemples de valeur
date Jour (UTC) de cr�ation de la session.
2021-12-31 Voir Type de date de BigQuery
agent_id ID de l'agent dont les informations de session sont calcul�es. 12345678-9012-3456-789012345678
agent_name Nom de l'agent. Growing Tree Bank
brand_id ID de la marque � laquelle appartient l'agent. 12345678-9012-3456-789012345678
brand_name Nom de la marque � laquelle appartient l'agent. Growing Tree International
partner_id ID du partenaire qui repr�sente la marque. 12345678-9012-3456-789012345678
partner_name Nom du partenaire qui repr�sente la marque. XYZ Messaging

M�triques des messages

Les m�triques de message sont d�termin�es � partir du nombre total de messages distribu�s pour un jour donn�. Ces m�triques incluent les �l�ments suivants:

M�trique D�finition Exemples de valeur
message_sender l'exp�diteur du message ; USER,
AGENT
message_type Type du message. TEXT,
RICH_TEXT,
PHOTO,
RICH_CARD
representative_type Type de repr�sentant qui a envoy� ce message. Vide pour les messages envoy�s par les utilisateurs. BOT,
HUMAN
total_messages Nombre total de messages distribu�s. 11

M�triques de session

Une session est un groupe d'interactions limit� dans le temps, comme des messages et les �v�nements d'une conversation. Une session commence lorsqu'un message est envoy� et une session n'est pas actif actuellement. Une session se termine lorsque

  • aucun message n'est envoy� pendant 24 heures ouvr�es (pour les agents ayant uniquement disponibilit� des messages] (/business-communications/business-messages/guides/how-to/agents /disponibilit�). S'il y a < sous 24 heures ouvr�es dans les sept�prochains jours, utilisez plut�t le d�lai de 24 heures.)
  • aucun message ne s'affiche pendant 30 minutes (pour les agents ayant une messagerie d�di�e aux bots uniquement disponibilit�)
  • vous envoyez une enqu�te � un utilisateur
  • l'utilisateur supprime la conversation.
  • l'utilisateur bloque l'agent ;

Les m�triques de session sont issues du nombre total de sessions, actives et termin�e, pour un jour donn�. Ces m�triques incluent les �l�ments suivants:

M�trique D�finition Exemples de valeur
session_initiator l'auteur de la session ; USER,
AGENT
session_initiating_entry_point Point d'entr�e � l'origine de la session. Consultez la section EntryPoint.
session_containment_type Types d'interactions repr�sentatives de la conversation, allant de d'aucun message repr�sentatif, seuls les messages du bot et d'un agent r�el messages. UNRESPONDED,
BOT_ONLY_CONVERSATION,
LIVE_AGENT_REQUEST_UNFULFILLED,
LIVE_AGENT_CONVERSATION,
CALL_INITIATED
has_agent_response La session comporte au moins une r�ponse de l'agent. TRUE,
FALSE
has_live_agent_response La session comporte au moins une r�ponse d'un agent r�el. TRUE,
FALSE
has_live_agent_request La session comporte au moins une demande d'agent. TRUE,
FALSE
session_depth_bucket Nombre de messages �chang�s au cours des sessions. 1,
2-3,
4-9,
10-24,
25-
survey_sent Indique si une enqu�te a �t� envoy�e pour cette session. TRUE,
FALSE
survey_responded Indique si l'utilisateur a r�pondu � l'enqu�te. TRUE,
FALSE
positive_survey_response Si la r�ponse � l'enqu�te a une note positive. Utile seulement lorsque survey_responded est TRUE. TRUE,
FALSE
total_sessions Nombre total de sessions. 1000
average_session_depth Nombre moyen de messages �chang�s au cours des sessions. 23.11

M�triques de qualit�

Les m�triques de qualit� sont tir�es du nombre total de sessions termin�es pour une pour un jour donn�. Ces m�triques incluent les �l�ments suivants:

M�trique D�finition Exemples de valeur
date_calculated Jour (UTC) indiquant le moment o� les m�triques ont �t� calcul�es.
2021-12-31 Voir Type de date de BigQuery
state �tat actuel de l'agent. GOOD_STANDING,
REQUIRES_ATTENTION
survey_count Nombre d'enqu�tes utilis�es pour calculer la note. S'il y avait moins de 10 r�ponses � l'enqu�te au cours des 7 derniers jours, la plus r�cente (9 enqu�tes maximum) des 35 derniers jours sont utilis�es. Sinon, toutes les enqu�tes au cours des 7 derniers jours. 84
survey_score Pourcentage de r�ponses positives � l'enqu�te. Les valeurs vont de 0 � 1.
session_count Nombre de sessions utilis�es pour calculer le MRR. S'il y avait moins de 3 sessions au cours des 7 derniers jours, puis des sessions les plus r�centes (9 au maximum). des 35 derniers jours. Sinon, toutes les sessions des 7 derni�res jours. 143
mrr Taux de r�ponse du marchand (MRR). Le nombre de sessions ayant enregistr� r�ponses de l'agent (bot ou agent r�el) par rapport au nombre total sessions. Les valeurs vont de 0 � 1.
hmrr Taux de r�ponse humaine des marchands : Le nombre de sessions ont re�u des r�ponses d'agent r�el par rapport au nombre total de sessions contiennent une ou plusieurs requ�tes ou r�ponses d'agent r�el. Les valeurs vont de 0 � 1.
live_agent_request_count Nombre de requ�tes d'agent r�el utilis�es pour calculer hmrr. Si il y a eu moins de 10 demandes avec un agent r�el au cours des sept derniers jours, les neuf requ�tes d'agent actives les plus r�centes des 35 derniers jours sont utilis�es. Sinon, toutes les requ�tes d'agent r�elles effectu�es au cours des sept derniers jours sont utilis�es. 42
suspension_date Jour (UTC) o� l'agent est susceptible d'�tre suspendu en raison d'une faible qualit�. D�fini uniquement pour les agents avec l'�tat "REQUIRES_ATTENTION".
2021-12-31 Voir Type de date de BigQuery

M�triques d'intent

Les m�triques d'intent utilisent le machine learning pour identifier l'intention des sessions avec votre un agent. Les m�triques d'intention sont extraites des messages des utilisateurs dans les sessions termin�es pour un jour donn�. En anglais uniquement. Ces m�triques incluent les �l�ments suivants:

M�trique D�finition Exemples de valeur
intent Type d'intent de session. SALES_LEAD,
SERVICE
count Nombre de sessions avec le type intent sp�cifi�. 11

Suivre des m�triques personnalis�es

Si vous avez des pr�f�rences en mati�re de m�triques diff�rentes ou si vous avez besoin d'informations plus d�taill�es que celui disponible dans le rapport sur la qualit�, vous pouvez capturer vos propres donn�es de m�triques.

Voici quelques m�triques que vous pouvez collecter:

  • Satisfaction des clients. Envoyer enqu�tes pour capturer et suivre la satisfaction des utilisateurs. Vous pouvez personnaliser votre enqu�te pour r�pondre � vos exigences en mati�re de collecte de donn�es.
  • Messages envoy�s : Capturez les d�tails chaque fois que votre agent envoie un message.
  • Messages re�us : Capturez les d�tails chaque fois que votre agent re�oit un message ;
  • Taux de r�ponse des agents. Capturez la fr�quence � laquelle l'agent r�pond � l'utilisateur messages. Suivez les diff�rences entre les taux de r�ponse du bot et de l'agent en direct.
  • D�lais de r�ponse des agents. Enregistrer le temps de r�ponse de l'agent messages utilisateur. Suivre les diff�rences entre la r�ponse du bot et celle de l'agent r�el fois.
  • Accus�s de r�ception : Enregistrez des �v�nements DELIVERED.
  • Confirmations de lecture : Enregistrez des �v�nements READ.
  • Engagement utilisateur. Capturer les �v�nements IS_TYPING, c'est-�-dire le nombre d'utilisateurs r�ponses, et le d�calage entre les �v�nements DELIVERED ou READ et les r�ponses d'utilisateur suivantes.

  • Type d'interaction : Identifiez la fa�on dont les utilisateurs r�pondent � vos messages. Utilisez des donn�es de postback pertinentes pour suivre les suggestions d'actions et de r�ponses, et surveiller les formats de r�ponse pour d�terminer si les utilisateurs envoient des images ou des messages en texte brut.

Une fois vos m�triques captur�es, vous pouvez les analyser et les organiser comme vous le souhaitez. les besoins de votre entreprise.

Surveillance des performances et seuils de suspension

Pour �valuer les performances de l'agent, Business Messages suit plusieurs m�triques pour s'assurer que les agents offrent une bonne exp�rience utilisateur. Si un agent passe en dessous d'une m�trique Business Messages vous avertit via des e-mails hebdomadaires sur le statut de l'agent. Si un l'agent reste en dessous d'un seuil pendant 28 jours, Business Messages peut suspendre le un agent. Si votre agent est suspendu, consultez l'article Corriger un probl�me � un agent.

Business Messages utilise les m�triques suivantes pour suivre les performances de l'agent:

M�trique Description Seuil de volume Seuil de volume normal Seuil de volume faible
Satisfaction client (CSAT) Le score de satisfaction client indique l'exp�rience globale que le client a eu apr�s avoir �chang� avec un agent. 10 enqu�tes 80�% 0�%
Taux de r�ponse du marchand (MRR) Nombre de sessions avec des r�ponses d'agent (bot ou agent r�el) par rapport au nombre total de sessions. 3�sessions 95�% 60�%
Taux de r�ponse humaine des marchands (HMRR) Nombre de sessions ayant re�u des r�ponses d'agent r�el par rapport au nombre total de sessions contenant une ou plusieurs requ�tes d'agent r�el ou des r�ponses d'un agent 10 requ�tes avec un agent r�el 95�% 0�%

Le volume de chaque m�trique est mesur� par rapport � un seuil de volume ind�pendant, sup�rieur ou inf�rieur, qui d�termine si les performances de l'agent peuvent �tre mesur�es par rapport au seuil de volume normal ou au seuil de faible volume pour cette m�trique.

Par exemple, si un agent a 9 enqu�tes, 10 sessions et 9 demandes d'agent r�el, les performances de l'agent sont mesur�es en fonction d'un seuil de 0 CSAT, 95 pour le MRR et 0 pour le HMRR. Si l'agent est en dessous de l'un de ces seuils, l'agent est alors associ� � la mention de l'�tat.

Si l'agent est toujours � l'�tat "Attention requise" depuis au moins 28 jours, l'agent peut alors �tre suspendu.

Am�liorez vos m�triques

Si les performances de votre agent sont faibles, assurez-vous qu'il :

Traiter les messages et y r�pondre sans probl�me technique

  • V�rifiez que votre webhook re�oit, accuse r�ception, traite et route de tous les messages entrants, quel que soit le type ou le contenu du message.
  • Assurez-vous que votre agent dispose d'une strat�gie de remplacement efficace dans le cas o� un champ obligatoire manquant dans la charge utile d'un message. Utilisateur manquant ou abandon car il manque un champ, ce qui nuit � l'exp�rience utilisateur.
  • V�rifiez que votre agent a bien �t� ex�cut� envoie tout types de messages attendus.

R�pondre de fa�on intelligente et bienveillante

  • R�pondez � chaque message. Les r�ponses automatiques vous aident � r�soudre les probl�mes questions.
  • Tenez compte de l'exp�rience utilisateur points d'entr�e de la conversation et r�pondre en cons�quence. Par exemple, les utilisateurs provenant de Google Maps sont plus susceptibles des informations propres � un �tablissement, telles que les horaires d'ouverture et les v�rifications des cours de la bourse.
  • Pour les messages bas�s sur la position, adressez les questions au mieux aux personnes concern�es pour y r�pondre.
  • Si aucun agent r�el n'est disponible, utilisez l'automatisation pour r�pondre � l'utilisateur. Indiquez-lui les horaires de chat de votre agent et les autres moyens de communication qu'il peut joindre. d'un contact (par exemple, un num�ro de t�l�phone d'assistance).

Donner des conseils

  • Utilisez un formulaire de bienvenue message, r�dig� sur un ton amical et accueillant, pour d�finir les attentes que votre agent peut faire.
  • Utiliser la conversation d�clencheurs pour guider les utilisateurs dans des t�ches courantes ou automatis�es.
  • Si un utilisateur pose une question que votre agent ne peut pas g�rer, r�pondez par des conseils sur le type de questions auxquelles il peut r�pondre.

G�rer les donn�es avec soin

  • Dans la mesure du possible, collectez les informations de localisation et d'autres donn�es � partir des messages que vous recevoir plut�t que de la demander.
  • Ne demandez pas d'informations sensibles (identifiants de connexion, informations personnelles, num�ros d'identification personnelle)
  • Ne demandez des donn�es que lorsque c'est n�cessaire. Le d�passement des donn�es cr�e un mauvais utilisateur exp�rience.
  • Lorsque vous avez besoin de donn�es, soyez clair sur pourquoi et comment vous les utiliserez.

Se comporter de mani�re asynchrone

  • Ne pas marquer les conversations comme inactives. Communications plut�t qu'aux entreprises Les messages �tant asynchrones, les utilisateurs ne peuvent pas r�pondre imm�diatement.
  • Ne faites pas le suivi des utilisateurs qui ne r�pondent pas. Les utilisateurs ne sont pas d�connect�s au bout de de quitter la conversation.

Pour obtenir des conseils suppl�mentaires sur la fa�on d'atteindre les performances de l'agent, consultez les exigences et consignes.