In der zweiten Folge des Behind the Screens Podcasts sprechen wir über Skillmessung in Videospielen. Ob Highscores, Bestzeiten oder Rankings, Spiele finden allerhand Wege, die Leistung von Spielerinnen und Spielern zu messen. Sogar wenn wir nur einen Story-Modus zocken, wird unser Fortschritt an Erfolgen gemessen.

 

ash-ketchum

„Ich will der Allerbeste sein, wie keiner vor mir war.“
Pokémon Theme

 

Skillmessung in Videospielen?

 

Was ist eigentlich eine gute Skillmessung und woran erkennt man sie? Geht es beim Matchmaking wirklich immer fair zu? Dasselbe wollten wir in unserer Befragung von euch wissen. Dabei ist aufgefallen, dass Leistungsmessung in Spielen erstaunlich viel mit psychologischer Diagnostik gemeinsam hat. In dieser Folge stellen wir die Ergebnisse unserer Studie vor und diskutieren, ob Skillmessung in Spielen die Gütekriterien der Diagnostik erüllt.

Außerdem haben uns erneut zwei großartige Gäste mit Einspielern bereichert. Während Caro uns erklärt wie das Ranking in Overwatch funktioniert, berichtet Robert von so genannten „Schandbalken“ in Halo 3.

 

TL;DR
  • Was für Skillmessungen gibt es in Videospielen? #Lustwandeln
  • Warum interessieren wir uns überhaupt für Leistungsmessung?
  • Was ist eine gute Messung und woran erkennt man sie?
  • Und was für Messfehler kann es dabei geben?
  • Wir besprechen die Gütekriterien psychologischer Diagnostik…
  • … und Beispiele aus der Welt der Videospiele
  • Wir stellen die Ergebnisse unserer Befragung vor
  • Diskussion: Sollte Skillmessung in Spielen die psychodiagnostischen Gütekriterien erfüllen?

 

Ergebnisse der Befragung (Auswahl)

 

Skillmessung-Daten-SPMP

Abbildung 1 (oben): Personen konnten ihre Antwort auf einer Skala von 1 = gar nicht bis 5 = sehr gut geben. Faustregel: Wenn die Fehlerbalken (schwarz) sich nicht überlappen, unterscheiden sich die Mittelwerte statistisch bedeutsam voneinander.

 

Skillmessung-Daten-Guetekriterien

Abbildung 2 (oben): Ergebnisse zu Fragen, die sich auf die Erfüllung psychodiagnostischer Gütekrietrien beziehen. Teilnehmende mussten zwischen Zustimmung (Ja) und Ablehnung (Nein) wählen.

 

Mit Einspielern von:

Vielen Dank, ihr seid klasse!

 

Links zur Folge

 

In eigener Sache

Wir freuen uns über Feedback. Schreibt uns doch einen Kommentar unter diesen Post oder meldet euch via Twitter oder Facebook. Wir sind gespannt auf eure Eindrücke!

Leave a Reply

Your email address will not be published. Required fields are marked *

4 comments on “Die Vermessung des Skills – Podcast E002

  1. Bei der Frage „Beeinflusst ‚bessere‘ Hardware den Rank?“ bzw. „Kann ‚bessere‘ Hardware den Rank beeinflussen?“ dachte ich bei der Umfrage sofort an den Punkt Makro.
    In nahezu jedem Spiel gibt es bestimme Abfolgen, die man wiederholen muss und bei denen eine schnelle, saubere Ausführung immer besser ist als eine langsamere im schlimmsten Fall falsche.
    Höherpreisige Hardware bietetim Gamingbereich dabei fast immer die Möglichkeit diese Sachen im vorhinein aufzunehmen und dann im Spiel abzuspielen. Für mich ist das mehr oder weniger cheaten aber das Spiel selbst kann diese Eingabe eigentlich nicht von einer menschlichen unterscheiden.

  2. psycho Jan 16, 2018

    Ich finde die Gedanken, dass spielerbezogene Ratingmaße im Multiplayer im Gegensatz zu gruppenbezogenen Maßen falsche Verhaltensanreize (nicht-gruppendienliches bzw. nicht-zieldienliches Verhalten) im Spiel interessant. Beim MM mit randoms sollte daher die reine Gruppenleistung i. S. v. win oder lose sowie in Abhängigkeit des MMRs der anderen Gruppe Einfluss auf das rating nehmen. Die Konfundierung mit der Leistung anderer Spieler haben die Leute im gegenerischen Tram ja ebenfalls und wenn die Stichprobe groß genug ist nähert sich so ein Rating trotz Messverzehrungen dem an, was eigentlich gemessen werden sollte (Leistungsfähigkeit als Konstrukt im Sinne des Spielziels und nicht bloß die Leistung in einer bestimmten Runde des Spiels die eben so oder so gemessen wird – wobei das Konstrukt ohnehin inhaltlich noch etwas unterfüttert werden müsste). Dabei denke ich an Teamspiele wie lol oder cs:go. Im Kontext davon ist auch interessant, was MVP bedeutet und ob so etwas nicht abgeschafft werden soll?

    • Wie im Podcast kurz erwähnt, sehe ich es ebenfalls so: Siege in Team-Spielen sind immer eine Team-Leistung und sollten daher auch als eine solche bewertet werden. Das Framing als Team-Leistung ist zugleich auch eine Annäherung an das von dir genannte Problem: Was soll das Konstrukt eigentlich sein? Hier stimme ich dir ebenfalls zu, dass es sich um eine Team-Leistung im Sinne des Spielziels handelt. Dabei müsste man (empirisch?) klären, ob und welche Verhaltensindikatoren es außerhalb Win/Lose überhaupt dafür gibt. Viele quantitative Werte sind nicht inhaltsvalide für die Erreichung des Spielziels (Kills, Damage, etc.), sondern tragen in ungeklärtem Ausmaß, mal mehr und mal weniger, dazu bei. Gleichzeitig lassen sich qualitative Merkmale (geschicktes Spielverhalten / kluge Züge / Strategien) prinzipiell nicht oder nur schwer erfassen. Nach dem Kriterium der Ökonomie würde ich deshalb am ehesten bei Win/Lose bleiben.

      Das einzige Problem, das dabei auftritt, ist, dass Teams in unteren Rängen häufig unterschiedlich zusammengesetzt sind (mit Randoms), während in höheren Bereichen deutlich mehr feste, eingespielte Teams zu finden ist. Das bedeutet imo, dass die Bewertung im oberen Bereich valider und reliabler ist, während die Bewertungen im unteren Bereich mehr Zufallseinflüssen unterliegen. Möglicherweile mitteln sich diese Einflüsse raus, aber dafür braucht es eine deutlich höhere Leistungsstichprobe, also mehr Matches. Das gilt auch grundsätzlich: Bewertungen auf Basis einer hohen Match-Zahl sind natürlich zuverlässiger als solche auf Basis weniger Matches.

      • psycho Jan 17, 2018

        Bei Starcraft 2 hat man übrigens für jede Teamkonstellation ein eigenes Rating (zumindest was die Liga angeht, das MMR ist meine ich trotzdem individuell), das finde ich schon sehr gut gelöst. ZusätLich gibt es eine Ligenplatzierung für random.

Behind the Screens © 2017 - 2018