Matchmaking

Admin Messages : 262 Age : 35

Quelques explications sur le système de rating

http://fr.dota2.com/2013/12/5553/

Citation :: Matchmaking
December 8, 2013 - Dota Team

Cela fait plusieurs mois que nous travaillons à améliorer le matchmaking. A travers ce post, nous voulons partager avec vous les informations concernant l’état actuel du matchmaking, et vous offrir un avant-goût des parties classées.

Les parties classées (Ranked games) arrivent

La prochaine mise à jour majeure apportera les ranked au jeu. Ce mode a été conçu pour les joueurs expérimentés qui souhaitent jouer dans un environnement compétitif, et qui souhaitent également connaitre leur MMR (Classement). Dota 2 a toujours eu un MMR calculé, et l’a toujours utilisé pour créer des matchs.
En ranked ce MMR sera visible.

Voici ce que vous devez savoir sur les ranked games :

Les ranked sont débloquées après environ 150 parties.
Tous les joueurs d’une équipe doivent avoir débloqué ce mode avant de lancer.
Pour le moment, les modes All Pick, Captains Mode et Captains Draft sont disponibles.
Le fait d’être en Low Prio vous empêchera de participer aux ranked.
Les Coachs sont interdits en ranked.
Les matchs joués hors ranked n’affectent pas votre MMR classé, et vice-versa.
Votre MMR de ranked est visible par vous et vos amis. Celui des parties normales demeure invisible.
Lorsque vous commencerez les ranked, vous entrerez une phase de calibration d’une durée de 10 parties. Pendant ce temps, votre MMR ne sera pas visible.

Votre classement (MMR)

Dota2 utilise des techniques classiques pour quantifier et suivre le skill d’un joueur. Nous donnons à chaque joueur un MMR, qui est un résumé global de votre skill sur Dota2. Après chaque match, nous mettons à jour votre MMR basé sur ce qui s’est passé dans le match. En général, lorsque vous gagnez, votre MMR va grimper et lorsque vous perdez, celui-ci va descendre.
Gagner/perdre une partie est le critère principal du MMR, mais il faut cependant garder à l’esprit que les performances individuelles jouent également un rôle. Plus notre incertitude sur votre MMR est importante et plus ce critère de performance individuelle est valable.

Il est possible pour le MMR d’une personne d’augmenter après une défaite ou de décroître après une victoire, mais le schéma classique reste que l’équipe gagnante va gagner du MMR, et l’équipe perdante va en perdre.

Nous tenons également compte de l’“incertitude” vis-à-vis de votre classement. Les nouveaux comptes et ceux jouant en ranked pour la première fois ont une forte incertitude. Une forte incertitude permet des ajustements plus importants après chaque match, et une faible incertitude ne permet que de petits ajustements.
Votre MMR et votre incertitude peuvent être interprétés comme permettant d’anticiper le résultat probable de votre prochaine partie. Si le résultat du match (que ce soit victoire ou défaite, ainsi que la performance individuelle) correspond de manière répétée à nos attentes, l’incertitude décroit jusqu’à atteindre un palier minimal. Un match avec un résultat surprenant va augmenter l’incertitude.

Nous traquons quatre différents MMR pour chaque joueur :

Parties classiques solo
Parties classiques en groupe
Parties ranked solo
Parties ranked en groupe

Chacun des deux MMR ranked possède sa propre période de calibration. Dans certains cas, nous aurons peut-être besoin de refaire une calibration plus tard, si nous pensons le MMR faux.
Pour vous donner une idée de ce que le MMR englobe, vous trouverez en dessous quelques MMR, correspondant à un pourcentage de joueurs situé en dessous de ce palier.

5% 1100
10% 1500
25% 2000
50% 2250
75% 2731
90% 3200
95% 3900
99% 4100

Notez qu’il s’agit de la distribution issue des parties normales. Nous ne savons pas encore ce que sera la distribution en ranked, mais nous nous attendons à ce qu’elle soit différente.
Les joueurs qui participent aux ranked seront des joueurs plus skillés et plus expérimentés. Nous nous attendons à ce que les joueurs aient des attentes différentes en matière de ranked, et par conséquent, jouent différemment par rapport aux parties normales.

Qu’est ce qui rend un match intéressant ?

Le but ultime du matchmaking automatisé de Dota2 est que les joueurs apprécient le jeu.

Les matchs sont recherchés avec les propriétés ci-dessous (sans ordre particulier) :

Les équipes sont équilibrées (50% de chance de gagner)
La différence de skill entre le meilleur joueur et le moins bon est minimale. Cette caractéristique est reliée à l’équilibre d’équipe, mais ce n’est pas la même chose.
La différence entre le joueur le plus expérimenté (mesuré en nombre de parties jouées) et le moins expérimenté est minimale. Plus de détails plus bas.
Le joueur Radiant le plus skillé doit être proche en terme de skill du joueur Dire le plus skillé.
Chaque team contient le même nombre de groupes. Par exemple, nous essayons d’éviter de créer un match de cinq joueurs solo contre cinq joueurs en team.
La langue choisie par les joueurs doit avoir au moins une langue commune. L’absence de celle-ci est fortement évitée. Pareil au regard de l’équipe adverse, mais nous considérons cela comme moins important.
Le temps d’attente ne doit pas être trop long.

Malheureusement, le matchmaking tout seul ne peut remplir toutes ces conditions parfaitement. A chaque match potentiel est assigné un score prenant en compte chacun des critères vu ci-dessus, et en fait une moyenne. Lorsque l’on atteint un certain point, le match est considéré comme étant “suffisamment bon”, et il se crée.

Nous expérimentons en permanence avec des critères différents et comment les prioriser.
Nous n’essayons pas directement d’emmener les joueurs à un certain win rate.

Cependant, nous nous assurons que chaque équipe a une chance de gagner de 50% (il s’agit du premier critère listé). Nous n’examinons pas les séries de victoires/défaites ni n’essayons de les terminer. Si vous êtes en winstreak, votre MMR a sûrement grimpé, ce qui va vous amener à être confronté à de meilleurs joueurs, et à jouer avec des alliés plus doués également.

Le nombre de victoires n’est pas non plus un indicateur de skill utile, et nous ne l’utilisons pas pour créer des matchs. Nous essayons de regrouper les joueurs par expérience (troisième critère de la liste), principalement car nous nous sommes rendus compte que des joueurs avec le même niveau de skill mais une expérience différente vont avoir un point de vue différent sur la façon dont la partie doit se dérouler.

Notre mesure de l’expérience des joueurs est par conséquent une fonction approximativement logarithmique qui prend en compte le nombre de parties jouées. La différence entre 40 parties et 120 parties est considérée comme étant à peu près la même qu’entre 120 et 280 parties.

Vous pouvez visualiser l’impact des critères 2 et 3 avec un graphique où le nombre de parties jouées est l’axe des abscisses, et le MMR l’axe des ordonnées. Lorsque deux joueurs sont proches sur ce diagramme, ils sont considérés comme de bons candidats.
La trajectoire typique d’un joueur nouveau à Dota qui gagne de l’expérience en jouant des matchs est de voir son MMR monter graduellement, avec l’expérience.
Un joueur skilled qui crée un nouveau compte va avoir une trajectoire quelque peu différente. Leur MMR grimpe rapidement, jusqu’à un point ou ils vont rencontrer des joueurs doués mais avec une plus grande expérience de jeu.

Not pictured: My MMR as computers are too slow to calculate such a small fraction

Au sujet des groupes

Lorsque des groupes sont pris en compte, les choses deviennent un peu plus compliquées. Les groupes contiennent généralement des joueurs avec un important déséquilibre en skill et en expérience. Afin de pouvoir mesurer les critères 2 et 3, nous assignons à chaque groupe un agrégat de leur skill et de leur expérience. Ce sont ces nombres que nous utilisons plutôt que les valeurs de chaque joueur.

En général, lorsqu’un groupe est assigné contre un joueur solo, le joueur solo aura un skill et une expérience proche de la moyenne du groupe. Si vous remarquez qu’un joueur apparaît nettement moins skilled que d’autres joueurs au cours d’une partie, il est fort probable que celui-ci soit en groupe avec des joueurs plus skilled.

Par ailleurs, lorsque des joueurs sont au sein d’un groupe, ils ont généralement de meilleurs résultats que des joueurs solo, qui ne se connaissent pas les autres joueurs. Nous prenons cela en compte de deux façons différentes. Premièrement, nous traquons votre skill lorsque vous jouez tout seul, puis nous ajustons le MMR “effectif” d’un groupe, basé sur le nombre de joueurs dans le groupe et la distribution du skill au sein du groupe.

Voici un match d’exemple que nous avons formé, qui démontre ces deux principes en action.

RADIANT DIRE
Party MMR AdjMMR Party MMR AdjMMR
D 2994 3003 C 3046 3062
F 2788 2788 C 2920 2936
A 2687 2687 E 2716 2716
F 2626 2627 B 2672 2672
D 2401 2410 C 2100 2116
TOTAL 13515 TOTAL 13502

On observe ici que le MMR ajusté moyen est aux alentours de 2700. Lorsque les joueurs d’une équipe sont classés par MMR ajusté, comme au dessus, les joueurs solo ont tendance à être entourés par les joueurs d’un groupe. Plus encore, un groupe avec un faible écart de MMR tend à être entouré par un groupe avec un écart de MMR plus important. Ces modèles sont typiques.

Vous pouvez également noter que le groupe D a reçu un ajustement du MMR plus important que les autres, car l’écart est plus important. Le groupe F, formé par des joueurs de même skill, a reçu un bonus moins important. Ces ajustement ont été détermines en utilisant des outils statistiques (plus de détails plus bas), mais une explication intuitive est de dire que vos performances sont augmentées de manière plus importantes lorsque vous jouez avec un joueur plus skilled que vous, et de manière moins importantes lorsque vous jouez avec des joueurs d’un même niveau.

Le processus de gestion des données

Mesurer la réussite en partie est difficile. L’évaluation des joueurs est fortement liée à leurs récents ratio de win. Pour éviter les faibles échantillons qui nous amèneraient à dire “le matchmaking marche bien, j’ai gagné plusieurs matchs d’affilée”, nous essayons de prendre des décisions objectivement, en utilisant les données.

Heureusement, nous en ramassons énormément. Par exemple, vous devez vous demander comment nous avons déterminé la manière d’ajuster le MMR tout en prenant en compte le fait que les joueurs jouent mieux lorsqu’ils sont en équipe. Nous avons utilisé un outil statistique connu sous le nom de “régression logistique”, qui marche principalement en essayant de créer une fonction qui prédit les chances de victoire. Cette fonction contient plusieurs coefficients, utilisés pour déterminer le MMR bonus que nous attribuons aux joueurs dans un groupe.

Nous utilisons ensuite des techniques numériques pour trouver les coefficients qui produisent cette fonction, qui est la plus efficacement capable de déterminer le résultat d’un match.

Un autre exemple de comment les données gèrent le processus des création d’un match. C’est lorsque nous décidons qu’un match est “suffisamment bon” et que celui-ci doit être accepté, ou que nous décidons de vous laisser attendre, dans l’espoir d’un meilleur match. Afin d’aider à modifier cette limite, nous lançons une mesure de la qualité du match. L’une de ces mesures regarde la l’équilibre, basé sur le l’écart de gold gagné entre les deux équipes. Pour être encore plus précis, il s’agit de l’écart de gold porté sur le temps, mesuré à partir du dernier moment où l’écart était de 0. C’est visible très facilement sur le graph de différence de gold. Trouvez l’endroit où la courbe a passé 0 pour la dernière fois, puis mesurez la différence entre l’axe des abscisses et l’axe des ordonnées. En général, plus la zone est petite, plus la partie était serrée.

BALANCE

Bien qu’à un moment le Dire avait près de 10k d’avance, le Radiant est revenu dans la partie et est repassé premier, seulement pour perdre l’avantage un peu plus tard. Bien qu’une équipe aie réussi à un moment à prendre un avantage non négligeable, nos calculs d’équilibre jugent cette partie comme étant serrée.

Armés de ces mesures métriques (parmi d’autres) nous avons une manière expérimentale de modifier les limites du temps d’attente maximal. Nous faisons un ajustement, nous observons ce qu’il apporte à la qualité des matchs, mesuré notamment par l’équilibre du match. Il n’est pas critique que notre système identifie certains matchs comme étant serrés alors qu’il s’agissait d’un stomp, au vu du fait que nous sommes principalement intéressés par une réponse agrégée après un tel changement.

Conclusion

Nous espérons que ce post vous a apporté un peu de savoir sur nos méthodes de matchmaking, et sur comment nous évaluons le succès et faisons des décisions de design.
Comme une grosse partie de ce que nous faisons, le matchmaking est sujet à une réévaluation constante. Il ne sera jamais parfait, et les détails techniques se réfèrent à l’état des choses actuel, et nous sommes susceptibles de trouver de meilleures approches. Nous écoutons vos retours, et nous travaillons toujours dans l’objectif de nous améliorer.