[Proposition CdF] “C’est qui le premier ?”

Suivant la proposition de Tulkas dans le conseil des Orgas, je crée un sujet pour discuter d’une proposition que je vous soumets:

• But du CDF: 
  

— Quantifier/Classer la performance individuel des joueurs sur l’année (si derrière les gens veulent s’appuyer du classement pour sélectionner les X premiers en EdF, ce n’est pas de mon ressort)
— Avoir une méthode permettant de tenir compte des tournois individuels et par équipe. C’est presque le plus important: il y a de plus en plus de tournois par équipes, certains joueurs les privilégient mais le mode de calcul actuel n’est pas très satisfaisant.

• Tournois éligibles: 
  

la base est de prendre la formule actuelle et de n’utiliser que les résultats des tournois estampillés “CdF”. Mais on peut très bien ajouter proprement un système de pondération pour tenir compte un petit peu peu des tournois hors CdF ou, à l’inverse, donner plus d’importance à certains événements (le National ?)

• Format: 
  

j’en parle également plus bas mais, là encore, on resterait proche de la formule actuelle en prenant les X meilleurs tournois de chaque coach pour le classement.

=========================================

Dans l’esprit, cela ressemble donc au classement performance proposé par Clement0 proposé il y a quelques temps (2017 déjà !) en utilisant le win rate et la “force” des adversaires mais sans passer par le classement NAF. Je pense qu’il y a suffisamment d’informations dans l’ensemble des matchs d’une année pour éviter d’avoir à chercher des données externes.  La méthode qui semble marcher le mieux pour le moment est la méthode de Colley, où l’on met tous les résultats dans une grande matrice qui sert de base pour le calcul. 

Pour illustrer cela, je mets ci-dessous une première version du classement en 2017 (pour comparaison avec la méthode de Clement0) obtenu  mais il est à prendre avec des pincettes car je n’ai pas encore fini le travail. Ici, il s’agit du résultat obtenu en prenant tous les matchs de tous les tournois CdF (individuel où en équipe). J’ai utilisé toutes les parties mais je ne vais apparaître que les joueurs ayant fait au moins 18 matchs (ce seuil pouvant être modifié également).

La bonne nouvelle est qu’on peut voir qu’on peut être très bien classé même avec relativement peu de matchs. Cette première version est plutôt pénalisante pour les gros joueurs car il est compliqué de maintenir un win rate très élevé sur plus de 40 matchs. C’est pour cela que j’espère pouvoir bientôt donner les résultats de la deuxième version où on ne garde que les X (4 pour commencer) meilleurs tournois de chacun.

Très intéressant comme approche, cependant je ne comprends pas pourquoi prendre en compte les tournois par équipe pour un CDF indiv ?

- Il y a déja un CDF par équipe pour ça

- Certains tournois par équipes ne donnent volontairement pas de points pour le CDF indiv

- Le jeu par équipe ne se prête pas aux performances indiv (besoin de tenir un nul, aller chercher une win, etc...)

En dehors de ce point je trouve ça top ! bravo

Je vais préciser ça dans le premier post, mais je. parle des tournois en équipe qui donne des points pour le championnat de France individuel, comme le RDVBB par exemple. Même si effectivement la stratégie d’équipe peut te faire assurer un nul plutôt qu’aller une victoire, le fait de prendre en compte la force de tes adversaires donne un classement plus juste que juste le win rate pur comme c’est le cas actuellement. Si nécessaire, on peut décider de mettre un poids plus faible sur ces tournois.

Petit bonus, en tournoi par équipe tu peux avoir des remplacement en cours de tournoi (3 cette année chez nous) mais les résultats sont bien appliqués au “vrai” joueur de chaque match.

@ Bourpif,

à part les tournois par équipe qui intègre une composante de draft, je ne vois pas en quoi les résultats indiv dans un tournoi par équipe serait suffisamment faussés pour ne pas être pris en compte.

Ou bien j'ai pas compris la stratégie d'équipe derrière tes résultats au TTC...

@ Rrrrrrrremy,

concernant l'évaluation d'un niveau de joueur, au lieu de recalculer encore un nouveau truc, pourquoi ne pas déjà voir si on peut pas réutiliser quelque chose pré existant (NAF, Glicko, classement danois...).

Clement0 a écrit:

@ Bourpif,

à part les tournois par équipe qui intègre une composante de draft, je ne vois pas en quoi les résultats indiv dans un tournoi par équipe serait suffisamment faussés pour ne pas être pris en compte.

C'est que t'as jamais eu de tournois ou fallait vérouiller 3 nuls sur 5 matchs alors que la victoire est à portée ? Ou de tournois ou faut aller chercher la win, au risque de perdre le match (cf Simon au TTC justement)

Sans compter que tu peux facilement monter une équipe pour faire MVP mais bon en vrai ça n'existe pas, personne ne l'a jamais fait

Pour moi ce que tu décris en premier est à la marge.

Et pour l'équipe en carton pour terminer MVP en farmant les tables basses, ce n'est possible que parce que le système actuel est mal fait; ce qu'on dénonce depuis 8 ans maintenant.
Avec un système qui valorise les oppositions, tu feras peut être tes 5 wins en table 76, mais tu ne marqueras au final pas tant de points que ça.

Clement0 a écrit:

Pour moi ce que tu décris en premier est à la marge.

J'ai des exemples à chaque tournoi par équipe que j'ai pu faire pourtant, donc pas tant à la marge que ça

Ta matrice semble ressortir des bons résultats. En tout cas c'est cohérent. (sauf Pilaf devant Clement0, mais ...)

Tu pourras présenter ton système de calcul, j'ai du mal à visualiser le fonctionnement. Mais c'est cool qu'on puisse aussi faire quelques reglages sur le nombre de match minimum, les quelques meilleurs tournois etc

@tulkas

J’attends tous les tests pour publier le détail des formules, mais rien n’est caché. Par  exemple, Il y a cet article qui rentre dans les détails: https://squared2020.com/2017/11/04/statistics-of-colleys-ranking-methodology/

Pour Pilaf vs Clement0, c’est exactement ce que je dis plus haut, comme pour l’instant je prend tous les matchs et pas les 4 meilleurs tournois, il peut y avoir pas mal d’inversions par rapport au CdF actuel, mais je compte bien implémenter ça rapidement.

@Clement0

L’avantage de la méthode est justement qu’on ne recalcule pas d’indicateur supplémentaire. Tout le calcul se fait sur en une fois en tenant compte de ton win rate et celui de tes adversaires (et de leur parcours) pour juger de leur forme sur l’année. Donc c’est même plus simple que de devoir aller chercher les scores NAF ou danois de chacun et de les croiser avec les résultats de l’année.

Nouvel update, avec cette fois-ci une version plus proche du CdF actuel, avec la prise en compte de la meilleure performance sur 4 tournois. Cela diffère forcément de ma première version (@tulkas cette fois il y a plus d'écart entre Pilaf et Clement0), par contre les 5 premiers de cette méthode sont les 5 premiers du classement performance de Clement0 (l'ordre seulement est différent): par rapport à la formule actuelle, le beau parcours de Darth Mael contre des adversaires redoutables est bien valorisé. Autre observation intéressante: Davouille et Clement0 ont le même winrate (et très élevé) mais des classements très différents (19ème et 8ème).

Les formules sont plus complexes pour pouvoir gérer le cas de prendre les meilleur performances sur 4 tournois, je vais vérifier que j'ai pas de bugs puis j'appliquerai sur les CdF plus récents.

Je sais pas pour les autres mais moi sans le détail du calcul un classement comme ça, ça me parle pas

Merci cependant pour ton taff !


PS: C'est possible de faire un test sans les tournois par équipe ?

Oui je peux faire rapidement le classement sans les tournois par équipe, ça devrait pas mal changer les résultats parce que certains n'ont fait que des tournois par équipes (Darth Mael par exemple) ou réaliser des bonnes performances contre des bons joueurs sur ces tournois.

Pour l'explication de la méthode, tout est disponible ici, mais en résumé tu cherches à résoudre cette équation:


où r et b sont des vecteurs et C une matrice carrée


Le principe de cette méthode est de baser le classement sur le taux de victoire de chaque joueur en tenant compte de la force des autres joueurs. La méthode ajuste ton taux de victoire en fonction des taux des victoires de tes adversaires de l'année (eux-même ajustés par les taux de victoires de leurs propres adversaires, etc). C'est une méthode itérative mais qui peux aussi se résoudre en une seule fois par le calcul matriciel ci-dessus.

Et ça, mesdames et messieurs, c'est la raison pour laquelle j'ai préféré la chimie au maths !!

le soucis que je vois à cette méthode, et qui tient sans doute au fait que j'ai pas bien compris l'explication, c'est qu'on aura bien du mal à prévoir les choses.

ça peut etre un avantage (tu veux le titre : va gagner, regarde pas le reste), mais dans l'idée, c'est sympa aussi de pouvoir prévoir a minima combien on a de points de retard et si on va pouvoir se refaire ou pas.

D'autant qu'il sera compliqué de pouvoir "vérifier" le calcul ^^

Obsidian a écrit:

D'autant qu'il sera compliqué de pouvoir "vérifier" le calcul ^^

peut être un moyen pour remy d'être champion de france

On se moque, on se moque, mais si mon système donne les mêmes 5 premiers que le système de Clément, ça veut bien dire qu'on mesure à peu près la même chose

alors, perso, j suis plus admiratif que moqueur !

désolé si ca n'a pas transpiré dans mon message.


ensuite, faudrait vérifier sur plusieurs années

Enfin, si ça donne effectivement la même chose, le système de clement n'est-il pas plus simple / plus compréhensible pour le commun des mortel ? (vraie question)

rremy a écrit:

On se moque, on se moque, mais si mon système donne les mêmes 5 premiers que le système de Clément, ça veut bien dire qu'on mesure à peu près la même chose

après si le système de Clément était du caca ... bah c'est raté du coup

J'ai jamais dit que la méthode de Clément était du caca et elle est mieux que le système actuel, oui.

Par rapport à la remarque d'Obsdian, c'est marrant mais je trouve cette méthode plus simple car on n'a pas besoin de la croiser à d'autres données. Si tu veux regarder ce que donne la méthode "CdF Performance" en 2020,2021 ou 2022 il faut aller chercher les points NAF de chacun de coachs à cette époque et ça rajoute tout de suite plus de boulot.

Sur un aspect plus conceptuel, comme dit dans une réponse plus haut, l'utilisation des points NAF soulève plein de questions/débats : est-ce qu'on prend le classement max, par race ? est-ce que prend le max sur l'année, en début de tournoi ou après chaque match ? Quelques exemples:

- OdL a fait 1/2/2 en Nain cette année à la Vorace, est-ce que ça a du sens de le considérer à 300 pts pour ces défaites contre Sebco et Nabolo ?
- Clement0 est actuellement injouable avec ses amazones (prochain joueur à 300 ELO ?) mais sur sa première année en 2023 il fait "que" 8/4/3, ses adversaires auraient reçu les points correspondant à son niveau en ES
- Avec le up des vampires, j'imagine qu'on doit pouvoir trouver le contraire: une victoire contre un bon joueur qui n'est pas valorisé à sa juste valeur

L'idée de (peut-être) changer de formule de calcul pour le CdF est en partie motivée parce que certains tournois "kermesse" rapporterait trop de points. Ce serait dommage que, dès le changement de formule, on ait un nouveau débat au prétexte que Sebco ou Nabolo devienne champion de France grâce à une victoire contre un roster "kermesse" d'OdL

Autre défaut d'une formule basée sur les points NAF: comme on ne peut pas jouer contre soi-même, il sera paradoxalement plus dur pour les joueurs à très haut côte de gagner le CdF. Une victoire ou un nul contre OdL rapportera beaucoup de points (et placera le joueur en bonne position dans le CdF) alors que lui-même aura plus de mal à récolter autant de points en jouant contre la plèbe qui végète entre 200 et 250 de classement NAF.

Nouvelle mise à jour, cette fois-ci avec les résultats de l'an dernier. En plus de la meilleure performance sur 4 tournois, j'ai ajouté la meilleure performance sur 5 tournois ! Petite note: je me sers des matchs enregistrés à la NAF, donc il peut manquer des confrontations avec des non-NAF (les méchants), mais comme il s'agit généralement de joueurs débutants, cela ne doit pas impacter le classement.

En bleu, c'est la formule actuelle et en vert celle que je propose.

Merci pour ton travail !

Par contre ce qui m’intéresse, c'est de comprendre ce qu'il y a derrière ces classements et en quoi la nouvelle méthode de calcul est mieux que la précédente ?

Et voici le classement 2024 à l'heure actuelle. Bien évidemment, ça peut encore beaucoup changer en fonction des résultats de chacun, soit directement en améliorant ses performances soit indirectement parce que le niveau auquel ses adversaires sont évalués peut changer en fonction de leur performances dans les tournois à venir.

Et toujours avec le gros warning que je teste encore un ou deux paramètres dans le calcul matriciel, je suis pas à l'abri d'un bug ou d'une modification à rajouter.

3 remarques sur le classement de cette année:

- Inversion (pour le moment) entre Nabolo et Helborg en haut du classement: le très gros winrate de Nabolo est "compensé" par la force de l'opposition d'Helborg.
- Avantage 1: on peut prendre en compte les résultats partiels, comme ceux d'Ashrame au RDVBB. Il n'a fait que la première journée, mais la formule permet de mettre en valeur ses 3 belles victoires sans discuter du partage des points entre lui et son remplaçant
- Avantage 2: en cours de championnat, tout le monde a pas encore fait ses 4 tournois, mais comme la méthode fonctionne en pourcentage de victoire, tu peux être bien classé avant d'avoir fait tes 4 tournois, ça donne plus de lisibilité.
- Avantage 3: comme dans le post plus haut, c'est facile de passer au meilleur des 3,4, 5 ou 6 tournois en fonction des discussions à venir

Ashrame n'a fait que le dimanche du rdvbb

Et dire que j’étais orga de ce tournoi Les deux belles victoires d’Ashrame le dimanche donc.

2 remarques :
-Nabolo se fait dépasser sans trop pouvoir faire autrement. Il fait que des 500 ou presque mais n'est pas en tête, c'est cruel.
-Mais nabolo n'est plus en tête c'est cool quand même