In der zweiten Folge des Behind the Screens Podcasts sprechen wir über Skillmessung in Videospielen. Ob Highscores, Bestzeiten oder Rankings, Spiele finden allerhand Wege, die Leistung von Spielerinnen und Spielern zu messen. Sogar wenn wir nur einen Story-Modus zocken, wird unser Fortschritt an Erfolgen gemessen.
„Ich will der Allerbeste sein, wie keiner vor mir war.“ – Pokémon Theme
Skillmessung in Videospielen?
Was ist eigentlich eine gute Skillmessung und woran erkennt man sie? Geht es beim Matchmaking wirklich immer fair zu? Dasselbe wollten wir in unserer Befragung von euch wissen. Dabei ist aufgefallen, dass Leistungsmessung in Spielen erstaunlich viel mit psychologischer Diagnostik gemeinsam hat. In dieser Folge stellen wir die Ergebnisse unserer Studie vor und diskutieren, ob Skillmessung in Spielen die Gütekriterien der Diagnostik erüllt.
Außerdem haben uns erneut zwei großartige Gäste mit Einspielern bereichert. Während Caro uns erklärt wie das Ranking in Overwatch funktioniert, berichtet Robert von so genannten „Schandbalken“ in Halo 3.
TL;DR
Was für Skillmessungen gibt es in Videospielen? #Lustwandeln
Warum interessieren wir uns überhaupt für Leistungsmessung?
Was ist eine gute Messung und woran erkennt man sie?
Und was für Messfehler kann es dabei geben?
Wir besprechen die Gütekriterien psychologischer Diagnostik…
… und Beispiele aus der Welt der Videospiele
Wir stellen die Ergebnisse unserer Befragung vor
Diskussion: Sollte Skillmessung in Spielen die psychodiagnostischen Gütekriterien erfüllen?
Ergebnisse der Befragung (Auswahl)
Abbildung 1 (oben): Personen konnten ihre Antwort auf einer Skala von 1 = gar nicht bis 5 = sehr gut geben. Faustregel: Wenn die Fehlerbalken (schwarz) sich nicht überlappen, unterscheiden sich die Mittelwerte statistisch bedeutsam voneinander.Abbildung 2 (oben): Ergebnisse zu Fragen, die sich auf die Erfüllung psychodiagnostischer Gütekrietrien beziehen. Teilnehmende mussten zwischen Zustimmung (Ja) und Ablehnung (Nein) wählen.
Wir freuen uns über Feedback. Schreibt uns doch einen Kommentar unter diesen Post oder meldet euch via Twitter oder Facebook. Wir sind gespannt auf eure Eindrücke!
Bei der Frage „Beeinflusst ‚bessere‘ Hardware den Rank?“ bzw. „Kann ‚bessere‘ Hardware den Rank beeinflussen?“ dachte ich bei der Umfrage sofort an den Punkt Makro.
In nahezu jedem Spiel gibt es bestimme Abfolgen, die man wiederholen muss und bei denen eine schnelle, saubere Ausführung immer besser ist als eine langsamere im schlimmsten Fall falsche.
Höherpreisige Hardware bietetim Gamingbereich dabei fast immer die Möglichkeit diese Sachen im vorhinein aufzunehmen und dann im Spiel abzuspielen. Für mich ist das mehr oder weniger cheaten aber das Spiel selbst kann diese Eingabe eigentlich nicht von einer menschlichen unterscheiden.
Ich finde die Gedanken, dass spielerbezogene Ratingmaße im Multiplayer im Gegensatz zu gruppenbezogenen Maßen falsche Verhaltensanreize (nicht-gruppendienliches bzw. nicht-zieldienliches Verhalten) im Spiel interessant. Beim MM mit randoms sollte daher die reine Gruppenleistung i. S. v. win oder lose sowie in Abhängigkeit des MMRs der anderen Gruppe Einfluss auf das rating nehmen. Die Konfundierung mit der Leistung anderer Spieler haben die Leute im gegenerischen Tram ja ebenfalls und wenn die Stichprobe groß genug ist nähert sich so ein Rating trotz Messverzehrungen dem an, was eigentlich gemessen werden sollte (Leistungsfähigkeit als Konstrukt im Sinne des Spielziels und nicht bloß die Leistung in einer bestimmten Runde des Spiels die eben so oder so gemessen wird – wobei das Konstrukt ohnehin inhaltlich noch etwas unterfüttert werden müsste). Dabei denke ich an Teamspiele wie lol oder cs:go. Im Kontext davon ist auch interessant, was MVP bedeutet und ob so etwas nicht abgeschafft werden soll?
Wie im Podcast kurz erwähnt, sehe ich es ebenfalls so: Siege in Team-Spielen sind immer eine Team-Leistung und sollten daher auch als eine solche bewertet werden. Das Framing als Team-Leistung ist zugleich auch eine Annäherung an das von dir genannte Problem: Was soll das Konstrukt eigentlich sein? Hier stimme ich dir ebenfalls zu, dass es sich um eine Team-Leistung im Sinne des Spielziels handelt. Dabei müsste man (empirisch?) klären, ob und welche Verhaltensindikatoren es außerhalb Win/Lose überhaupt dafür gibt. Viele quantitative Werte sind nicht inhaltsvalide für die Erreichung des Spielziels (Kills, Damage, etc.), sondern tragen in ungeklärtem Ausmaß, mal mehr und mal weniger, dazu bei. Gleichzeitig lassen sich qualitative Merkmale (geschicktes Spielverhalten / kluge Züge / Strategien) prinzipiell nicht oder nur schwer erfassen. Nach dem Kriterium der Ökonomie würde ich deshalb am ehesten bei Win/Lose bleiben.
Das einzige Problem, das dabei auftritt, ist, dass Teams in unteren Rängen häufig unterschiedlich zusammengesetzt sind (mit Randoms), während in höheren Bereichen deutlich mehr feste, eingespielte Teams zu finden ist. Das bedeutet imo, dass die Bewertung im oberen Bereich valider und reliabler ist, während die Bewertungen im unteren Bereich mehr Zufallseinflüssen unterliegen. Möglicherweile mitteln sich diese Einflüsse raus, aber dafür braucht es eine deutlich höhere Leistungsstichprobe, also mehr Matches. Das gilt auch grundsätzlich: Bewertungen auf Basis einer hohen Match-Zahl sind natürlich zuverlässiger als solche auf Basis weniger Matches.
Bei Starcraft 2 hat man übrigens für jede Teamkonstellation ein eigenes Rating (zumindest was die Liga angeht, das MMR ist meine ich trotzdem individuell), das finde ich schon sehr gut gelöst. ZusätLich gibt es eine Ligenplatzierung für random.
An dieser Folge hat mich auch der Blick auf den Zusammenhang von Leistung und Spiel(spaß) sehr fasziniert. Das mag für Menschen, die regelmäßig spielen, womöglich gar nicht mehr als so besonders auffallen. Ich gehöre allerdings nach früheren Jahren intensiven Spielens heute nicht mehr so sehr zur festen Spielgemeinde der wirklich regelmäßigen Gamer:innen. Ich sehe das Ganze allerdings aus der gesellschaftlichen Perspektive, in der Leistung ein sehr ambivalentes Phänomen ist. Notwendig, fordernd, fördernd, überfordernd, auszehrend, anregend. Wahrscheinlich könnten wir schon anhand so einfacher Eigenschaftsworte ganze Diskussionen darüber führen. Zugleich bedeutet spielen ganz simpel gesagt doch vor allem Spaß? Schon die erste Folge von BtS hat natürlich gezeigt, wie sehr auch das zu differenzieren bzw. auszubuchstabieren ist.
Kurz gesagt: Gut gewähltes Thema und ein erstaunlich unverkrampfter Umgang mit dem Leistungsbegriff, der, wie oben geschrieben, auch problematische Seiten haben kann – aber nicht muss. Das liegt wohl auch daran, dass nicht umsonst der englische Begriff „Skill“ hier greift, der eine letztlich andere, spezifische Bedeutung hat.
[…] (12.01.2018): Hier findet ihr die Ergebnisse und den zugehörigen Podcast, indem wir das Thema ausführlich […]
[…] Die Vermessung des Skills – BTS Podcast E002 […]