Playtesting

In "Behind the Screens" reden Jessica und Playtester Leo über die Rolle des Playtestings in der Spieleentwicklung, Methoden, Feedback-Analyse sowie ethische Aspekte und Herausforderungen im Playtesting.

Transcript

Intro und Vorstellung Leo: Was macht ein Community Playtester?

Jessica:
[0:00] Spieltests während der Entwicklung. Für Studios überlebenswichtig, für einige Spielerinnen ein Traumjob. Wann wird ein Spiel im Entwicklungsprozess mit welchen Methoden getestet, was sind typische Fallstricke und ruiniert viel Testerfahrung den Spaß an anderen Titeln? Die Psychologie hinter dieser und vielen weiteren Fragen erkunden wir mit Community-Playtester Leo. Viel Spaß! Behind the Screens. Liebe HörerInnen da draußen, ganz herzliches Willkommen zu einer neuen Folge. Heute geht es um das Thema Playtesting. Playtesting ist ein Riesenfeld, das in der Spielentwicklung eine große Rolle spielt. Und glücklicherweise muss ich mich diesem Thema heute nicht allein stellen. Wir haben einen ganz wunderbaren Gast heute hier, der ziemlich viele Erfahrungen mitbringt als Playtester und uns mitnimmt in die Welt des Playtestings. Ganz herzliches Willkommen an dich, lieber Leo. Hi.

Leo:
[1:09] Hallo.

Jessica:
[1:10] Schön, dass du da bist, Leo. Wir haben uns, ich habe versucht, das zu rekonstruieren, ziemlich sicher vor zwei Jahren auf der Gamescom zum ersten Mal getroffen. Da sind wir ins Gespräch gekommen auf einer der Partys am Abend und du hast mir erzählt, dass du Playtesting betreibst als Hobby und aber doch schon da ziemlich viel Erfahrung gesammelt hast. Und ich fand das total interessant, weil ich so den Eindruck hatte von dem, was du erzählst, dass du ziemlich strukturiert an diese Themen rangehst und hatte letztes Jahr dann mit dir ja auch die Möglichkeit, auf der DEVCOM ein Spiel anzuspielen, gemeinsam so ein Mini-Playtesting zu machen. Und da haben wir irgendwie so unsere Expertisen zusammengeworfen und da dachte ich mir, cool, der Leo hat ganz gut Ahnung von der Sache und, Ja, jetzt sitzen wir heute hier und sprechen über das Thema Playtesting und ich bin natürlich neugierig, hatte auch so den Eindruck, als wir da zusammen geplaytestet haben und du da sehr strukturiert auch drangegangen bist, dass das sicher natürlich mit deiner Erfahrung zu tun hat, aber ich habe mich gefragt, ob das auch irgendwas mit deinem Hauptjob eigentlich zu tun hat. Was machst du denn da eigentlich?

Leo:
[2:24] Genau, ist auf jeden Fall nicht weit hergeholt. Im Hauptjob bin ich im Support-Bereich tätig, ebenfalls mit analytischem Fokus, aber so überhaupt nicht in der Gaming-Branche. Deshalb war es auch umso spannender, dann bei den Plates zu sehen, ich schaue aus dem einen Blickwinkel drauf, du schaust aus dem anderen Blickwinkel drauf und der Def hat gemerkt, der kriegt gleich zwei verschiedene Sichtweisen direkt als Feedback. Ich glaube, das fand er sehr schön. Zum Hauptjob, ich kenne die Denkweise im Support-Kontext, da geht es ja auch sehr viel im Support um Muster zu erkennen und Probleme zu strukturieren, nur halt eben in einem ganz anderen Umfeld als die Gaming-Branche. Genau.

Jessica:
[3:04] Und man kann es aber gut übertragen. Also jetzt schon in den ersten Minuten wird irgendwie klar, bevor wir jetzt überhaupt darüber gesprochen haben, was gibt es eigentlich alles für Formen von Playtesting? Um was geht es da eigentlich genau? Was tut man da eigentlich? Ich denke, das ist auf jeden Fall, was im besten Fall damit zu tun hat, dass man strukturiert an ein Thema, an Problemen vielleicht auch rangeht und herausfinden möchte, okay, was ist da los und wie denken wir eigentlich auch in diesen Situationen, wenn wir hier vor einem Spiel sitzen, das ausprobieren und vor irgendwelchen Problemen vielleicht stehen oder irgendwas nicht so gut funktioniert oder so. Also es hat ja ganz viel mit Psychologie zu tun, deswegen sprechen wir ja auch heute darüber, weil das natürlich was damit zu tun hat, wie denken Menschen, was tun Menschen, also das menschliche Verhalten, aber auch was fühlen sie in diesen Momenten und all diese Sachen kommen dann zusammen und so. Dann ist die Psychologie eigentlich wieder ganz, ganz dicht an diesem ganzen Thema Playtesting dran. Ich habe das vorhin jetzt noch gar nicht als Wort so gesagt, aber du hast mir erzählt, die Art, wie du Playtesting betreibst, das ist ja nicht dein Hauptberuf, gerade schon gesagt, du machst da was anderes, auch wenn das denkenähnlich ist, sondern betreibst das als Hobby quasi und hast dich da als Community-Playtester bezeichnet. Was genau macht ein Community-Playtester eigentlich? Was bedeutet das?

Leo:
[4:31] Community-Playtester grenze ich erstmal ganz klar von einem QA, von einem User-Researcher ab, der das Ganze hauptberuflich macht. Heißt, für mich ist super wichtig, ich mache das freiwillig, ich bewerte mich in den meisten Fällen ganz normal, wie jeder andere auch auf Playtests. Es gibt ja bei Indies oder teilweise auch bei den großen Playtester-Programmen, wo man dann sich mit Spielen, die man gespielt hat, Vorlieben etc. Bewirbt und dann wird geschaut, was passt dann zu dem Test, den der Entwickler gerade machen möchte. Deshalb denke ich mir, für mich ist wichtig, es ist freiwillig, ich kann jederzeit abbrechen, ich gebe Feedback so, wie ich das möchte oder im Optimalfall so, wie ich das möchte. Da kommen wir ja noch später drauf zu sprechen, wenn es Richtung freie Playtest versus strukturierte Playtest geht. Und ich mag es einfach, in den sehr frühen State schon Spiele anspielen zu können und wirklich auch sehr früh so ein bisschen meine Handschrift da reinfließen zu lassen und das Feedback aus User-Sicht, also des Endverbrauchers von den Devs aus gesehen, geben zu können.

Jessica:
[5:37] Das ist ja auch eine, finde ich, ganz besondere Situation, die wir auch bei Behind-the-Screens immer wieder haben. Also wir bieten ja auch Consulting an für Game Devs. Das unterscheidet sich ein bisschen vom Playtesting natürlich, aber auch wir Playtesten und Ich weiß nicht, wie es dir da geht, aber ich finde das auch super besonders, einfach so zu sehen, wenn man so ganz frühe Phasen des Spiels kennt und sieht, wie das Spiel erwachsen wird, in Anführungszeichen, wie am Anfang noch irgendwelche Platzhalter drin sind oder Spielmechaniken, die noch nicht so richtig funktionieren, die vielleicht später rausfallen oder ersetzt werden oder verbessert werden. Und so ein Spiel dann nach und nach Form annimmt und man so einen, ja, je nachdem kleineren oder größeren Beitrag dazu leisten kann, dass da dann am Ende was rauskommt und man hat eben nicht nur das fertige Produkt dann am Ende gesehen, sondern man hat so diesen Entwicklungsprozess mitverfolgen können.

Leo:
[6:31] Ich finde, das ist immer etwas Besonderes, gerade wenn man sehr früh in einem Entwicklungszyklus playtesten darf. Ich nenne es bewusst darf und nicht muss, da kommen wir später ja auch nochmal drauf zu sprechen. dass man einfach sagt, man kann, Allerbestes Beispiel, ein Prototyp testen. Da ist einfach nur ein Mockup, der ist vielleicht innerhalb von wenigen Tagen gebaut, wo der Entwickler einfach mal schauen würde, wie kommt das bei dem Spieler an. Und da ist es, finde ich es dann auch wichtig, so ein bisschen dieses Feingefühl zu haben, auch wirklich schon Rückmeldung geben zu können, das passt, das passt nicht. Dann hat der Entwickler sicherlich eine Handvoll Playtester bei einem Prototyp, was dann darauf zu sprechen kommt. Er kriegt schon die Menge Feedback, um ungefähr entscheiden zu können, welcher Prototyp hat denn da Potenzial und welcher nicht. Und da sind wir dann in extrem frühen Stages, die normalerweise, kommen wir auch nochmal darauf zu sprechen, unter NDA laufen, wo man dann wirklich gar nichts zu sagen darf, außer in dem Forms oder Discord-Chene, was der Entwickler da halt als Feedback-Kanal nimmt.

Jessica:
[7:31] Man kriegt also, das hast du gerade schon gesagt, eben dann nicht ganz am Ende, wenn das Spiel schon fertig ist oder fast fertig ist und es eher so um Bug-Fixing oder sowas geht, das Spiel zu sehen, sondern eben wirklich so ganz, ganz frühe Prozesse, zum Teil auch wie du sagst, Prototypen, bei denen auch gar nicht klar ist, wird der weiterverfolgt oder nicht, dass es überhaupt nicht nach außen vorzeigbar, sondern eben wirklich lass mal schauen, ob diese Grundidee überhaupt funktioniert, weil man kann sich ja viel überlegen und sich das so ausmalen, aber ob das dann wirklich Spaß macht beim Spielen, ob das irgendwie funktioniert, ob der Potenzial drin ist, ob der Musik drin ist, wie wir bei Behind Screens oft sagen, das kriegt man eben oft tatsächlich erst mit, wenn man irgendeine Form von anwendbarem Spiel hat und manchmal Bis zum nächsten Mal. Funktioniert das mit Papierprototypen, je nachdem, was für ein Spiel man machen möchte, aber ganz oft braucht es eben irgendeine Form von digitalen Prototypen auch. Würdest du sagen, dass das häufig vorkommt, also gerade auch im Indie-Bereich, dass auch so frühe Prototypen tatsächlich mit Community-Playtestern getestet werden oder siehst du das eher im Double- oder Triple-A-Bereich?

Leo:
[8:42] Gute Frage. Bei Indies sehe ich es eher selten. Ich glaube, das liegt aber auch eher so an dem Mindset, ich möchte erst mal ein bisschen was entwickeln und möchte dann gucken, ob der Spieler das gut findet. Und finde ich teilweise, es gibt verschiedene Ansätze. Die einen sagen, man macht es direkt ab Prototypen-Stage, wenn man mit dem Spieler entwickeln möchte. Gibt aber auch durchaus Indies, die sagen, ich teste erst ab der Alpha oder sogar ab der Beta erst mit externen Playtestern. Und für alles davor habe ich zum Beispiel eine QA-Abteilung oder so. Also da sehe ich sehr viel Varianz, gerade bei Indies. Bei AAA, klar, da ist es Standard, dass man relativ früh schon testet, teils vor Ankündigung, auch mit externen Testern im Playtest-Programmbereich. Da sind aber die Regeln komplett anders als bei einem Indie.

Jessica:
[9:34] Du schaust ja tatsächlich auch mit einiger Erfahrung, so wie ich das rausgehört habe bisher, da eben auch schon drauf. Wie lange machst du das mit dem Playtesting eigentlich schon?

Leo:
[9:45] Boah, ich glaube, das Erste, wo ich es wirklich als Playtest bezeichnen kann, was mit strukturiertem Feedback zusammenhängt, hätte ich jetzt gesagt, fünf Jahre ungefähr. Also es kam relativ zeitgleich sogar mit der Pandemie, dass ich gesagt habe, ich spiele jetzt ein bisschen mehr. Habe dann auch erste Indie-Spiele gehabt, wo ich gesagt habe, vielleicht hast du einen etwas genaueren Blick als andere, weil man spricht ja im Freundeskreis darüber, wie man so Spiele empfindet. Und da habe ich halt gemerkt, ich sehe teilweise nicht mehr, das wäre ein falsches Wort, sondern anders als zum Beispiel der Freundeskreis.

Jessica:
[10:21] Mhm. Und wie viele Spiele, wenn du das überhaupt quantifizieren kannst, zurückblickend, aber was schätzt du, was hast du so in den Jahren schon geplaytestet, wie viele Spiele?

Leo:
[10:34] Circa, wenn ich schätzen müsste, so 30 bis 35, die wirklich als Playtests liefen. Mal abhängig von den Spielen, die ich natürlich selber gerne im Early Access zum Beispiel spiele, sondern wirklich welche, wo ich bewusst getestet habe und dann den Indies auch Feedback gegeben habe. Es gibt eine Sache, wo ich sage, das ist absolut Hobby Charakter und zwar ich limitiere dieses Hobby auf maximal einen Playtest pro Monat, dass ich wirklich sagen kann, selbst ist, wenn der etwas anspruchsvoller ist, der Playtest, gibt es eine harte Grenze, damit das auch ja nicht irgendwie über Hobby läuft und man denken könnte, das ist ein Nebenverdienst, da will ich überhaupt nicht hin. Da ist mir dieses, wie du es eben schon genannt hast, Community-Playtester vielleicht mit einem etwas genaueren Auge so deutlich wichtiger.

Jessica:
[11:22] Ich kann mir auch vorstellen, dass es eben sehr unterschiedlich ist, wie viel Zeit man dann in so einen Playtest reinsteckt. Also ich kann jetzt in einem Prototypen in der Regel eben nicht 10, 15 Stunden oder sowas testen. Was ist da so deine Erfahrung? Was ist so die Bandbreite an Zeit, die du in so einen Playtest investierst?

Leo:
[11:41] Bei Indies ist es immer relativ schön. Man kann oft selber entscheiden, wie lange man testet. Das kann sein, dass das mal 30 Minuten sind, weil ich mir einfach nur einen Core-Loop angucken will. Das kann aber auch sein, ein ausführlicher Test, der mir gefällt, der dauert dann auch vielleicht schon mal 20 bis 30 Stunden. Wohlgemerkt, die sind komplett freiwillig und für mich zählen sie als normale Spieler Gaming Zeit und ich habe auch nicht das Mindset dann zu sagen, es ist für mich ein Job das wäre für mich ein Abbruchkriterium da ich sage, das Hobby geht zu weit.

Jessica:
[12:14] Mhm. Ich würde da sehr gerne später nochmal genauer mit dir darüber sprechen, weil ja immer in diesem Bereich, wenn man sich mit einem Unterhaltungsmedium wie jetzt zum Beispiel Games beschäftigt und da dann Aufgaben in welcher Form auch immer drin hat, so ein Graubereich irgendwie anfängt, ist das jetzt noch einfach Enjoyment, Freizeit oder wo biegt man dann vielleicht auch ganz unbewusst Richtung Arbeit ab? Und da finde ich das auf jeden Fall gut, dass du sagst, okay, ich will da in diese Richtung gehen und in die andere eben nicht abbiegen. Und gibt es denn Spiele, in denen man in den Credits deinen Namen lesen kann?

Leo:
[13:01] Genau, aktuell gibt es tatsächlich sogar schon zwei Spiele, wo mein Name als Contributor drinsteht. Einmal wäre das ein kleines Spiel namens Tiny Auto Nights. Das ist ein Auto-Battler, in dem man so eine kleine Armee aufbaut und die dann automatisiert gegen andere Armeen von anderen Spielern kämpfen lässt. Und jetzt neu das Spiel Outbound, wo ich so ein bisschen im Community-Bereich mitgeholfen habe, eher anstatt zu testen, weil es sich halt mit der Zeit ergeben hat.

Jessica:
[13:32] Outbound, können wir vielleicht auch noch dazu sagen, wird bald releasen, also zum Zeitpunkt der Aufnahme, bald meines Wissens im April. Auch ein Indie-Titel, wo man mit einem Camper unterwegs ist, den man weiter ausbauen kann, durch schöne Landschaften fährt und ja, Dinge sammelt und, Die Gegend erkundet. Ich habe kürzlich die Demo gespielt im Rahmen des Team Next Fest. Die hat mir sehr gut gefallen. Also schön, dass du da auch daran beteiligt warst in irgendeiner Form.

Leo:
[14:03] Das sind halt die Situationen, wo zum Beispiel ich sage, ich gebe mal ein, zwei, drei, vier Feedbacks und dann merkt man, die Feedbacks sind qualitativ hochwertig und dann sagt der Entwickler, hey, hast du vielleicht noch was gesehen? Und dann passe ich auch sehr auf, dass das halt nicht überhand nimmt, sondern sage mir, wenn ich Lust habe, dann spiele ich das Spiel, gebe auch gerne Feedback. Inzwischen gehen viele Indies ja hin und sagen, sie möchten strukturiertes Feedback in Form von einem Template oder einem Google Forms. Und da denke ich mir halt, dann spiele ich das, wenn ich Lust habe. Und wenn ich dann Rückmeldung gebe, gebe ich Rückmeldung. Und wenn ich jetzt sage, ich möchte eine Woche nichts machen, gerade im Indie-Bereich ist das üblicherweise auch kein Problem, wenn man dann halt sagt, ja, dann es gibt halt so einen kleinen Playtester-Pool oder einen größeren Playtester-Pool, je nachdem, wo wir im Entwicklungszyklus gerade sind. Und dann ist es so die Crowd, die das Ganze trägt, selbst wenn Einzelne vielleicht gerade mal nicht so viel, viel Backgeben.

Jessica:
[15:02] Das heißt, das entwickelt sich manchmal auch einfach eher spontan, dass du da irgendwo noch mit reinkommst. Ja, wir haben jetzt schon hier an einigen Stellen so ein bisschen mal reingestochert. Okay, was hat das mit dem Playtesting eigentlich auf sich? Was gibt es denn da alles so? Was kann man da machen? In was für Phasen und so weiter?

Jessica:
[15:24] Die Idee für diese Folge heute ist ja, dass wir uns erstmal so an dieses große Thema rantasten und ich finde das total schön, dass wir das zusammen machen, mit dir quasi aus der Praxis kommend und, Wir haben im Vorfeld natürlich schon ein bisschen gesprochen, wie wir diese Folge aufziehen wollen und die Idee ist, dass wir dieses große Thema so ein bisschen anhand von einem konkreten Beispiel mal durchsprechen wollen und gesagt, okay, auch dass du nicht in diese NDA-Geschichten reinkommst. Also NDA bedeutet Non-Disclosure Agreement. Das ist was, was ganz häufig eben ein Thema ist, wenn es um Playtesting geht oder auch, wenn JournalistInnen vorab Spiele bekommen zum Testen, dass sie eben ihre Reviews schreiben können für die großen Outlets vor dem Release. Das ist eben pünktlich zum Release, die Menschen das lesen können, brauchen die das ja vorab. Und dann gibt es immer diese NDAs, die unterschrieben werden müssen, dass man eben nichts nach außen trägt. Und dass du auch in so eine Situation nicht reinkommst, dass du da irgendwie was sagst.

Jessica:
[16:30] Was aus einem ganz spezifischen Kontext ist, haben wir gesagt, okay, wir erfinden jetzt in Anführungszeichen ein Spiel, machen ein fiktives Spiel, wo wir einfach... Anhand dieses Spiels und so ein bisschen durch diese Themen. Okay, was ist Playtesting eigentlich überhaupt? Was macht man da? Wann macht man das? Wo gibt es vielleicht auch Probleme im Playtesting-Bereich? Was läuft nicht so gut und so, dass wir das so ein bisschen konkreter an einem Beispiel machen können. Leo, hast du dir ein Spiel überlegt, über das wir heute sprechen können? Kannst du zu dem Spiel mal kurz was sagen?

Leo:
[17:06] Für mich ist das in die E-Thema natürlich super wichtig, weil man unterschreibt das. Man steht dafür gerade, die NDAs sind, je nachdem, was es für ein Spiel ist, extrem hoch. Und da habe ich zu dir ja schon gesagt, bevor wir jetzt anfangen, über irgendein Spiel und Mechaniken zu reden, ich denke mir mal eben fix was aus. Da können wir dann wunderbar aus psychologischer Sicht drangehen. Da kann ich ohne Gefahr Beispiele einbringen. Ich habe mir Folgendes überlegt. Stellen wir uns mal ein Spiel vor, wo wir auf einer Raumstation sind, wo man so durch einzelne Räume geht und die Raumstation ist kaputt. Man muss so bestimmte Systeme aktivieren, so in Form von kleinen Rätseln, Exploration, Puzzle Game und jeder Raum ist quasi ein kleines Problem, welches gelöst werden mag. Sprich, der Core-Loop, also die Hauptmechanik ist, wir betreten den Raum, müssen irgendwelche Hinweise suchen, müssen verstehen, was will das Level gerade überhaupt von einem. Dann gibt es irgendeine Form von Interaktion, einen Hebel drücken, irgendwas löten, was halt das Spiel gerade möchte. Und im Endeffekt, wenn man das Rätsel gelöst hat, geht halt die Tür zu dem nächsten Raumstationmodul auf, bis die Raumstation dann wieder funktioniert. So als kleines Beispielprojekt ist es glaube ich super schön, dass wir da wirklich gleich auch mal auf ein Menü schauen können, auf ein Fiktives, auf bestimmte Verhaltensweisen und das funktioniert so halt am besten.

Ziele und Zeitpunkt: Warum und wann playtestet man? User Experience, Interface und Co.

Jessica:
[18:35] Das gefällt mir sehr gut, diese Spielidee. Ich glaube, da können wir viele der Themen jetzt einfach gut dran besprechen. Also wenn wir uns das jetzt mal anschauen, okay, das ist jetzt die Spielidee. Wann fängt das Playtesting denn eigentlich an? Du hast ja vorhin schon angedeutet, okay, das kann tatsächlich auch mal schon mit einem Prototypen anfangen, also unter Umständen sehr früh. Warum macht man überhaupt Playtesting und wann playtestet man eigentlich was?

Leo:
[19:08] Am wichtigsten finde ich, dass man nicht erst anfängt, wirklich kurz vor Release zu testen und dann noch schnell ein paar Tester, böse gesagt, durch das Spiel durchzujagen, um dann wirklich mal eben noch schnell Feedback zu kommen, ist meiner Meinung nach leider nicht ganz der richtige Ansatz, wie du schon gesagt hast, das kann passieren. Je nach Spieldesign beim Prototyp anfangen. Jetzt mal in Bezug auf unser kleines Spiel. Man baut fünf Räume oder drei Räume und baut so die Grundmechanik. Vielleicht muss man hier einen Button drücken, vielleicht blinkt hier irgendwas und dann lässt man den Spieler da mal durchgehen und selbst im frühen Status, dass man wirklich guckt, versteht der Spieler überhaupt, was ich möchte? Das sind vielleicht an der Stelle super kleine Loops oder psychologische Problemstellen, wo man eine gewisse Expectation gegenüber dem Spieler hat, aber wenn man die nicht früh fixt, kann die später unter Umständen sehr teuer zu korrigieren sein, wenn man da noch Folgeaktionen dranhängt oder irgendwas Kompliziertes daraus macht und das findet man halt nur durch besagtes Playtesting raus, auch teilweise in der Pre-Alpha, also teils sogar noch vor Ankündigungen, bis hin zu kurz vor Release oder auch nach Release, gerade wenn ein DLC kommt, ist ja heutzutage fast schon Standard, dass ein Spiel irgendwie noch ein DLC dahinter kriegt.

Leo:
[20:35] Dass man da halt sehr viele verschiedene Touchpoints hat, wo man beim Playtesting ansetzen kann. Das können auch meinetwegen auch nur Mikro-Playtests sein, die gehen vielleicht zwei, drei, vier Tage, dann nimmt man eine kleine Handvoll Playtester für das Thema Signal vs. Noise, wo wir gleich auch noch darauf zu sprechen kommen, als erster Indiz recht, das muss kein super groß aufgezogenes Playtest-Projekt sein.

Jessica:
[20:59] Also geht es da einerseits um User Experience auch und um das User Interface sicher, also wenn wir irgendwelche Menüs oder sowas auf dem Bildschirm haben, aber lass uns doch mal kurz bei der User Experience, da fasse ich jetzt einfach mal sehr viel drunter, was dann, Und was im Spiel passiert, wie sich das für die Spielenden anfühlt, was du auch gerade sagtest, was da vielleicht für Denkprozesse bei den Menschen ablaufen, verstehen die überhaupt, um was es da eigentlich geht? Oder sind die ein bisschen lost? Haben sie vielleicht irgendeine Animation oder irgendeinen Effekt oder sowas überhaupt nicht verstanden, den man in so frühen Phasen eben noch sehr gut korrigieren kann? Aber dass eben, wie du sagst, das durchaus teuer und langwierig werden kann, wenn man das erst sehr, sehr viel später bemerkt, weil man dann vielleicht ganz viele ähnliche Sachen gemacht hat, die dann einzeln angepasst werden müssen. Also es kann sehr, sehr lohnenswert sein, sehr kostensparend früh mit diesen Playtests anzufangen. Lieber einer mehr, ist einer zu wenig. Und wenn wir jetzt mal bei diesem Weltraum-Stations-Game, Puzzle-Game bleiben, was könnten denn da so solche UX-Themen sein, die da aufkommen?

Leo:
[22:21] Wir stellen uns mal vor, der Spieler geht in den ersten Raum und der merkt, hier blinkt was, da zischt was, da tut etwas und der Spieler bekommt unter Umständen vielleicht sogar direkt schon im ersten Raum zu viel Eindruck von dem Raum, anstatt dass man ihn vielleicht erstmal an den ersten Raum heranführt. Man erklärt hier, das ist ein kaputtes Modul, das muss repariert werden. Und da wäre zum Beispiel bei unserem Spiel, dass man den Spieler einfach den Raum betreten lässt und dann... Auf sich allein gestellt erstmal lässt, um zu gucken, was passiert, wäre zum Beispiel eine Art von Playtesting, dass man so eine Art A-B-Test macht, die einen gehen direkt in den Raum rein, müssen das einmal auf sich wirken lassen und die anderen bekommen vielleicht ein relativ schnell geschriebenes Tutorial, um einfach zu sagen, hier, das ist ein Raum, der ist kaputt und du musst hier irgendwas tun. Da haben wir schon die erste Form von Playtesting, dass man zum Beispiel verschiedene Inhalte an verschiedene Gruppen ausspielt, um dann Juix sich speziell mal anzugucken.

Jessica:
[23:22] Da kann man ja schon aus der Psychologie auch ganz viel rausnehmen. Da geht es ja ganz viel darum, okay, wir nehmen Menschen Dinge wahr. Wir nehmen die so einen Raum wahr. Du sagtest gerade, okay, vielleicht blinkt ja ganz viel, gibt es Geräusche und man hat vielleicht gar nicht so den Orientierungspunkt. Also da geht es ja auch ganz viel um Aufmerksamkeitslenkung. Wie sorgen wir dafür, dass die Leute zu dem Zeitpunkt, zu dem wir das wollen, da hinschauen, wo sie jetzt hinschauen müssen, um zu verstehen? Also wie funktionieren eigentlich solche Wahrnehmungsprozesse? Wie funktionieren Aufmerksamkeitsprozesse? Wie funktionieren Denk- und Verstehensprozesse? Wie lernt man überhaupt so ein Spiel auch, dass auch dann das ganze, das ist jetzt auch schon diesen Begriff genannt, das Tutorial Design schlussendlich drin, wo man natürlich erstmal sagen kann, okay, um das quick and dirty zu testen, lassen Leute einfach so rein oder wir machen ein Tutorial, kann das auch einfach mal eine Textbox sein, um zu schauen, okay.

Jessica:
[24:24] Was für eine Reihenfolge? Muss ich vielleicht bestimmte Informationen geben, dass das den Leuten erleichtert, die Informationen logisch sinnvoll miteinander zu verknüpfen und so ein Verstehen aufzubauen? Wir würden sagen, in der Psychologie so ein mentales Modell von dem Spiel, von der Story vielleicht auch, aber eben auch von dem, was sie in dem Spiel eigentlich tun müssen. Das sind so Themen, die wir auch immer wieder schon in Podcast-Folgen angesprochen haben. Also zum Beispiel haben wir eine Folge zur Aufmerksamkeit in Games, Folge 42. Wir möchten auch schon länger mal, zumindest ein Wunsch von mir, eine Folge machen zum Thema Cognitive Load, also kognitive Belastung. Da geht es dann um solche Fragen wie, okay, was brauche ich eigentlich an Informationen, um gut lernen zu können? Und Lernen meint jetzt eben auch, so ein Spiel zu verstehen, zu verstehen, was man tun muss und so weiter. Wann brauche ich welche Informationen? Wie müssen die strukturiert sein? Wie müssen die aufbereitet sein?

Jessica:
[25:29] Und all diese Sachen gehen ja in diese User Experience ganz, ganz stark mit rein. Ja, wenn ich gleich am Anfang überfordert habe, Informationen, die ich gerade gar nicht zuordnen kann, die jetzt eigentlich meine begrenzten Kapazitäten, die ich ja in meiner Psychologie nennen wir das Arbeitsgedächtnis, also das, wo wir Informationen quasi miteinander verknüpfen, um Dinge zu verstehen, das ist begrenzt. Und wenn ich da zu viel reinkriege und ich weiß, was wichtig ist und was nicht, dann kann ich damit nichts anfangen. Das heißt, zu diesem ganz Nive-Ex-Ding gehören ganz viele stark psychologische Themen ganz zentral dazu.

Leo:
[26:08] Wir können ja in unserem virtuellen Beispiel direkt mal kurz eine Situation dazu bauen, dass zum Beispiel in einem Raum, das ist jetzt kein Rätsel, sondern stehen drei Gegner und der eine Gegner schießt mit einer Pistole, der zweite Gegner blendet dich und der dritte Gegner kommt von hinten, weil er quasi direkt rechts neben der Raumtür steht. Wo man dann wirklich diesen Kognitiv-Load hat, in nahezu Echtzeit entscheiden zu müssen, greife ich jetzt den Gegner an, versuche ich jetzt erstmal herauszufinden, was in diesem Level passiert, muss ich vielleicht noch was ganz anderes beachten, so Thema Split-Attention, da gibt es hoch komplizierte Prozesse, die da ablaufen, kenne ich zum Beispiel persönlich auch aus Shootern, wo man da sagt, ich droppe jetzt zum Beispiel in einem Battle Royale irgendwo runter und ich bin aber nicht der Einzige, weil zwei oder drei Teams mit mir dann heruntergehen und dann muss ich halt auch gucken, was mache ich denn jetzt zuerst? Und das ist ja das, was du da als Cognitive Float bezeichnest, kann man auch in unserem virtuellen Spiel zum Beispiel einbauen.

Jessica:
[27:16] Genau, und da kommt es ja dann auch ganz stark drauf an, okay, was haben wir eigentlich für ein Genre? Also, ist das, Ist es ein Spiel eigentlich, bei dem wir das Ziel haben, dass die Leute entspannt Puzzles lösen oder ist es tatsächlich ein Spiel, in dem die Leute auch gefordert werden wollen, also wo solche Sachen wie, du hast es schon den Split-Attention-Effekt benannt, der kommt so aus der richtigen Richtung Lernen mit Multimedia, also Informationen sind verteilt, die einen Informationen sind hier, die anderen sind da, ich muss sie irgendwie zusammenbringen, muss dafür meine Aufmerksamkeit eben auf verschiedene Informationen, Informationsquellen richten, muss dann diese Informationen integrieren, entscheiden, okay, was bedeutet das jetzt, dass der eine Gegner bei der Tür steht, welche Relevanz hat das versus der andere, der da diese Pistole hat und so weiter. Und da kann es dann in der User Experience natürlich auch darum gehen, okay, ist das das, was wir für dieses Spiel eigentlich wollen? Da geht es dann auch um die Frage, okay, was ist eine bewusste Designentscheidung, wo man vielleicht auch mal sagt, okay, wir wollen jetzt an einer Stelle auch mal das klassische Genre und die Spiele Experience bewusst durchbrechen an einer Stelle. Oder ist den Devs vielleicht gar nicht bewusst, was für eine Wirkung das hat auf die User Experience, wenn man das so einbaut?

Jessica:
[28:36] Also da muss man dann unter Umständen auch mal nachfragen mit den Devs ins Gespräch gehen. Das ist zum Beispiel das, was wir dann eben bei Behind the Screens machen würden in solchen Consulting-Prozessen. Da stelle ich mir vor, dass es beim Playtesting wahrscheinlich auch je nach Spiel, je nach Dev-Team und so sehr unterschiedlich ist, ob ihr direkt mit den Devs sprecht oder ob ihr einfach, ein Formular ausfüllt oder in Discord einen Kommentar hinterlasst.

Leo:
[29:04] Ich habe Sehr viel erlebt, was das angeht. Das fängt an mit, es gibt einen kleinen abgetrennten Bereich für Tester in einem Discord, wo man dann wirklich Bugs reportet und dann auch direkte Kontakt zu einem Moderator oder zu einem Developer hat, der dann teilweise auch sogar noch Dinge nachfragt oder einen Log anfordert. Und Logs sind im Playtesting super wichtig, dass man eben nicht nur das Spiel spielt, sondern dem Entwickler danach auch zeigen kann, was hat das Spiel gesehen, nicht nur der Spieler.

Jessica:
[29:39] Thema Logs wird eins sein, das wir gleich auch nochmal gesondert betrachten, weil da auch ganz viel, finde ich, sehr Interessantes drinsteckt. Und wenn wir nochmal beim UX-Design bleiben, was ist denn da so deine Erfahrung? Also ich mache es mal an einem Beispiel, das wir erlebt haben mit Blueberry. Ein Spiel, das wir lange begleitet haben und geht um eine Frau, die quasi auf ihr Leben zurückschaut. Und da geht es um Darstellungen, also ursprünglich wurden wir angefragt, zu konsulten, zu Darstellungen von mentaler Gesundheit, also von Depressionen zum Beispiel und auch einer Suchterkrankung und ja auch noch ein paar anderen belastenden Themen. Und da war das ganz oft so, dass wir eben in sehr engem Kontakt mit der Entwicklerin standen und die uns dann auch Level gegeben hat, so mit der Anmerkung, hey.

Jessica:
[30:36] Hier ging es mir darum, das und das darzustellen, schaut mal, wie es gelungen ist. Ist das was, was ihr auch so als Playtester erlebt? Also, dass wirklich sagen, hey... Wir haben hier eine bestimmte User Experience gesucht. Schaut mal, ob ihr die findet, in Anführungszeichen, im Level Design zum Beispiel. Also bringt das Level die Message rüber, die wir eigentlich möchten oder eben die Experience, diese Erfahrungen, vielleicht ein bestimmtes Gefühl, das man erzeugen wollte oder wie hast du da Erfahrungen gemacht?

Leo:
[31:11] Ich denke, es gibt verschiedene Herangehensweisen, wie der Entwickler an den Tests herangehen kann. Einerseits gibt es offene Tests, wo man tatsächlich nur einen Steam Key bekommt und einfach mal schauen soll, wie wirkt das Spiel auf einen, gibt es Dinge, wo so Friction, Reibung passiert. Es gibt aber auch Playtests, da bekommt man explizit zum Beispiel auch nur einen Teil eines Levels, sei es alleine, sei es im Koop und dann hat man ganz spezielle Ziele, die man erfüllen soll. Zum Beispiel gehe nach da, drücke diesen Knopf, gucke, ob innerhalb von zehn Sekunden was Bestimmtes passiert. Und da geht es dann eher darum, zum Beispiel Metriken zu sammeln, zu gucken, wie reagiert das System des Spielers da drauf, passt das von den Ladezeiten her. Sprich, da gibt es sehr viele verschiedene Scopes, nach denen man testen kann.

Jessica:
[32:09] Das heißt, also es kann quasi alles passieren, je nachdem, wer was wann fragt. Jetzt haben wir uns so ein bisschen das UX-Thema angeschaut. Ich kann mir vorstellen, dass auch UI, also es sollte im besten Fall auch ein Thema sein, also das User Interface, wie ist das gestaltet, wie sind Menüs gestaltet, wie ist zum Beispiel so ein Inventar oder sowas aufgebaut, ist das verständlich und so weiter. Oder sind das auch Sachen, bei denen du schon im Playtesting beteiligt warst?

Silent Pain Points: Flow Breaks, UI-Reibung etc.

Leo:
[32:41] Das ist sogar einer der Punkte, auf die ich gerade drauf schaue. So sind Menüs logisch, sind die Informationen, die ich zu einem bestimmten Zeitpunkt bekomme, logisch. Wir hatten ja gerade schon über Cognitive Load gesprochen, wo es auch meiner Meinung nach darum geht, zu sagen, man möchte Informationen zu einem bestimmten Zeitpunkt eben nicht haben oder erst später haben. Das kann zum Beispiel sein, bleiben wir bei unserem fiktiven Spiel, wir haben ein Rätsel, da gibt es ganz viele Knöpfe und Möglichkeiten zu klicken und der Spieler hat zum Beispiel keine Informationen und klickt erstmal alles an und das würde der Entwickler in seinen Metriken, in seinen Log sehen, dass alles querbeet angeklickt wird, um erstmal zu gucken, was passiert da überhaupt, obwohl das so überhaupt gar nicht seine Intention ist. Und da haben wir zum Beispiel dann einen Flowbreak, würde ich es nennen, dass der Spieler in ein Rätsel reingeht, dass das zu klein, zu unklar ist, der Spieler tatsächlich gestoppt wird in seinem Flow, weil er erstmal einen Reibungspunkt hat, wo er gucken muss, was will dieses UI-Element eigentlich von mir?

Jessica:
[33:49] Es gibt ja, Es sind solche Unterbrechungen, die gewünscht sind, also gerade auch bei Rätsel, dass eben nicht gleich klar ist, was ist die richtige Lösung, aber das ist ja auf einem ganz anderen Level als das, was du gerade angesprochen hast. Das eine ist sehr bewusst, dass das Teil des Genres, vielleicht auch Teil der intendierten Erfahrung, vielleicht sogar tatsächlich Flow fördernd in dem Sinne. Wir haben übrigens auch eine ganze Folge zum Thema Flow gemacht, Folge 71. Wenn ihr euch für das Thema interessiert, also dieses tiefe Eintauchen in ein Spiel und die Zeit vergessen, gar nicht so versunken sein in das, was man gerade tut, dass man alles um sich rum quasi vergisst. Das ist ja auch was sehr, sehr Schönes und das kann eben auch sein, wenn man mal in so ein Rätsel reinkommt, das man erstmal gar nicht gelöst kriegt und da erstmal richtig dran rumdenken muss. Aber was du gerade beschreibst, ist eben genau das, wo der Flow dann unterbrochen wird, wenn die Leute eben nicht an dem intendierten Rätsel rätseln, sondern an einem unintendierten Rätsel, in dem Fall eben zum Beispiel an so einem Menü. Ja, das, was so versteckt ist vielleicht, dass man es nicht findet oder... Wie du gerade zum Beispiel genommen hast, da ein Element drin ist, bei dem man gar nicht so genau weiß, was das jetzt eigentlich bedeutet und was das macht und was das für eine Auswirkung auf das Spiel hat.

Leo:
[35:18] Richtig. Einerseits unterscheide ich da inzwischen, ich glaube, ich kann das unterscheiden zwischen gewollten Flow Breaks und vielleicht danach sogar einer besonders immersiven Erfahrung, die man aufgrund des Flow Breaks hat. Beispielsweise, wenn es dann in Videosequenz geht oder wenn irgendein Milestone in dem Spiel erreicht wird, dass man dann bewusst sogar vorher abbremst. Im Gegenzug zu dem, was man im Playtesting ja eigentlich auch rausfinden möchte, wenn Flowbreaks nicht gewollt sind, weil, keine Ahnung, zu viele Lichter, das Ziel ist unklar, man hat einfach in dem Moment nicht so die Verbindung zum Spiel, wie sie vom Entwickler gewollt ist. Da ist es ja eine Kunst, immersive Spiele zu bauen. Und dann haben wir jetzt in unserem fiktiven Spiel das kleine Rätsel. Und das kleine Rätsel verwirrt den Spieler. Es kann ja auch Retention bedeuten beim Spieler, dass er in dem Moment abbricht. Gerade wenn es eine Demo ist, gefällt mir nicht, dann mache ich es halt aus. Wäre auch eine Metrik, die man im Playtesting sehr gut anwenden kann. Im Vergleich zu, man macht eine zweite Testrunde, nachdem man das zum Beispiel korrigiert hat, um dann zu gucken, ob genau an dem Punkt anderes Spielerverhalten hervorgerufen wird durch Korrekturen, Optimierungen, eine Textbox, wie du es eben genannt hast, dass man da das Timing sauber hinkriegt.

Jessica:
[36:38] Das kann ich mir sehr, sehr gut vorstellen, dass das insbesondere bei Demos eben so ein Problem ist, hatte ich tatsächlich auch neulich mit einer Demo, die ich angespielt habe, bei der ich dann nicht genau wusste, okay, verstehe ich jetzt einfach nicht, was ich als nächstes machen muss oder ist das ein Bug und das, was eigentlich passieren soll, passiert aus irgendwelchen Gründen einfach nicht und es geht hier nicht weiter. Das ist natürlich super frustrierend und da war ich mir auch nicht sicher, wurde hier jetzt was nicht eingeführt, was ich jetzt eigentlich hätte tun müssen. Oder wie gesagt, es ist einfach ein Bug und dann habe ich auch abgebrochen. Und wenn man das jetzt überträgt auf unser fiktives Spiel, könnte das ja sowas sein, dass eine neue Spielmechanik kommt nach ein paar Räumen und die Idee der Devs ist, okay, das ist jetzt hier quasi das Tutorial, du lernst jetzt erst das eine und du lernst dann das andere.

Jessica:
[37:29] Aber das andere wird quasi gar nicht eingeführt und es ist für die Spielenden gar nicht verständlich, dass sie jetzt hier was anderes machen müssen, nachdem sie jetzt erstmal gelernt haben, ah, okay, ich muss zwei, dreimal hintereinander das machen in den Räumen. Und man dann ja mit einer Erwartung da reingeht. Also es geht ganz viel auch, um nochmal psychologischen Begriff zu nennen, um die Theory of Mind. Also ich muss als Dev auch verstehen, okay, von dem Wissensstand, den die SpielerInnen zu dem Zeitpunkt haben, aufgrund der Erfahrungen, die sie bisher mit dem Spiel gemacht haben, erwarten sie jetzt, dass XY passiert. Und wenn ich das jetzt breche, was ja okay ist, vielleicht, weil ich eine neue Spielmechanik einführen will oder so.

Jessica:
[38:10] Dann muss ich mir sehr gut überlegen, was die Spiele denn jetzt brauchen, um das zu verstehen und wie ich das quasi gut anbieten kann, dass die Leute das gut in ihr mentales Modell, um nochmal den Begriff von vorhin zu nehmen, integrieren können. Dann eben einen Lernzuwachs haben.

Leo:
[38:30] Erwartungshaltung finde ich hier ein sehr gutes Stichwort, weil ich finde, man muss stark abgrenzen. Wir haben ja eben schon am Anfang der Folge darüber gesprochen, es gibt die hauptberuflichen QAler und User Researcher, die sowas als Hauptjob machen und, wirklich aktiv bewusst darauf trainiert sind, solche Verhaltensweisen beim Spieler zu erkennen. Dann gibt es aber den Playtester oder den Community-Playtester, wo ich mich zuzähle und mein Job beim Playtesting, den ich so sehe als Aufgabe, ich liefere primär Beobachtungen und Muster. Dass ich sage, mir fallen Dinge auf als Spieler, vielleicht fallen sie mir auch schon mal ein bisschen anders auf, weil ich etwaiges Spielverständnis habe, ich habe eine entsprechende Ausbildung im Programmierbereich, dass mir da gewisse Dinge besonders auffallen. Wichtig ist aber, und das muss jeder Playtester eigentlich wissen, die eigentlichen Designentscheidungen, die liegen immer beim Dev-Team. Der Spieler, der kann sich das noch so sehr wünschen und sagen, das ist sinnvoll und einen halben Roman dazu schreiben, warum das sinnvoll ist, am besten noch emotionsgetrieben, um in der Psychologie zu bleiben. Es wird aber trotzdem nichts daran ändern, dass das Dev-Team oder der Entwickler ja eine Designphilosophie hat und dann trotzdem gucken muss, sprechen wir gleich auch nochmal drüber, ist das jetzt Signal, ist das jetzt Noise und wie gehe ich mit einem oder vielleicht sogar auch mehrere Leichenback-Reports um?

Jessica:
[39:59] Ja, gefällt mir. Das ist, Auch ganz wichtig zu verstehen, denke ich, wenn es um das Thema Playtesting geht, auch wenn man sich anbietet als Playtester, dass man einerseits natürlich ganz, ganz wertvolles Feedback leistet, aber dass es eben umgekehrt trotzdem kein Wunschkonzert ist. Also, dass ich nicht einfach hier alle meine Vorschläge unterbreiten kann und dann davon ausgehen kann, dass die alle so umgesetzt werden. Also, selbst in unserer Rolle bei Behind the Screens als Consultants.

Jessica:
[40:30] Die wir nochmal ein bisschen in einer anderen Rolle als reine Playtester in die Entwicklungsprozesse mit einbezogen sind. Also je nachdem natürlich auch, was man vorab vereinbart hat mit dem Dev-Team. Auch bei uns ist es natürlich so, dass wir Vorschläge machen, weil wir ja eben oft tatsächlich auch spezifisch gefragt werden. Hey, hier die Spielmechanik wissen wir noch nicht so genau. Wie findet ihr die und so weiter? Und wir da, ich sag mal, informiert Feedback zu geben können und natürlich auch Ideen reinbringen. Und schlussendlich bleibt die Entscheidung natürlich, und das ist ja auch richtig so, bei den Devs und die Vision bleibt dort. Wir können Dinge reingeben, aber was damit passiert, liegt dann nicht in unserer Hand. Also da muss man in allen Rollen, in denen man da sein kann, eben auch als Playtester klar auf dem Schirm haben, okay, was sind die Erwartungen auch, die die Devs an mich haben und was ist das, was ich leisten kann und was sind Erwartungen oder Wünsche, die ich vielleicht habe, aber die mit der Aufgabe, für die ich eigentlich hier drin bin, gar nicht zu tun haben.

Leo:
[41:39] Man muss natürlich so ein bisschen unterscheiden, was für eine Art von Studio das ist. Es kann sein, dass das ein Solo-Dev ist, der wirklich alleine alle Rollen dieses Studios abbilden muss. Kann aber auch sein, dass das vielleicht schon ein Team mit obere Grenze in die 10, 15, 20 Mitarbeitenden ist und wo es dann schon klare Aufgaben gibt, wo sich jemand explizit zum Beispiel mit dem Playtesting und den Rückmeldungen und dem Clustering von den Rückmeldungen beschäftigt. Da denke ich mir, da sind die Möglichkeiten sehr limitiert, was man teilweise tun kann. Denke mir aber, selbst der Solo-Dev, der bekommt das hin, Playtesting zu machen. Vielleicht ist dann das Google Forms nicht super high-end wie bei einem AAA-Studio. Das kann sein, dass der einfach nur, hatten wir ja eben schon als Beispiel genannt, seinen kleinen Discord-Channel macht, eine Rolle an die Tester vergibt, damit die ein bisschen abgetrennt vom generellen Discord sind und dann halt da drin so ein bisschen mit den Spielern diskutiert. Und was mir wichtig ist an der Stelle zu erwähnen, ist, dass man auch mit wenig Aufwand belastbare Ergebnisse bekommen kann, die auch, wie du sie so schön nennst, psychologisch verwertbar sind.

Vom pre-Alpha-Fragebogen bis Eyetracking: Arten von Playtesting und Metriken

Jessica:
[43:08] Das finde ich auch das Schöne am Playtesting, also dass es für jede Größe und für jeden Zeitpunkt Möglichkeiten gibt, sinnvoll zu playtesten und da was rauszukriegen und eben auch für jedes Budget und für alle Mittel, die einem so zur Verfügung stehen. Was vielleicht auch ganz gut zum nächsten Punkt überleitet, über den ich gerne mit dir sprechen würde, was für Arten von Playtesting es eigentlich gibt, was für Informationen für Devs eigentlich interessant sind. Du hast jetzt schon einiges auch erzählt, dass man eben auch tatsächlich einfach Feedback gibt zu dem, was einem auffällt, sage ich mal, auf User Experience Ebene, auf User Interface Ebene oder dass eben sehr spezifische Fragen auch an einen herangetragen werden im Sinne von mach jetzt das und sag, ob es funktioniert oder so. Aber, du hast jetzt immer wieder auch schon das Wort der Metrike angesprochen, dass auch das manchmal sehr interessant ist, ja, wann brechen Leute ein Spiel ab zum Beispiel oder, oder. Lass uns das doch mal sortieren, was gibt's denn überhaupt für Arten von Playtests? Kann man das so allgemein überhaupt gut fragen?

Leo:
[44:23] Jetzt muss ich überlegen, wo ich bei der Frage am besten ansetze, weil es gibt, so viele verschiedene Möglichkeiten, wie man Playtesten kann. Du hattest ja extra schon gesagt, das ist ja jetzt nur die Pilotfolge für dieses Thema, weil es da sehr viel gibt, was man machen kann. Ich würde mich mal jetzt auf die generellen Testarten beschränken. Da würde mir zum Beispiel jetzt einfallen, kennt jeder die klassische Alpha-Beta? Das kann sein, dass das bei Kickstarter gefundet wurde und dass dann die Leute, die da gebackt haben, in der Alpha oder Beta schon kommen, das wäre dann so ein halb öffentlicher bis so semi-geschlossener Playtest. Dann hätten wir zum Beispiel einen Fokustest, wo hatte ich ja eben schon genannt, uns ein ganz bestimmtes Level angucken und die Erwartungshaltung und so, wie geht der Spieler damit um, wie nimmt der Spieler die Situation wahr, macht der das, was ich von dem Spieler möchte, so Fokustest Style und dann gibt's noch die Tests, die für mich immer am intensivsten sind.

Leo:
[45:31] Gab es zum Beispiel einmal in einem sehr stark kontrollierten Test-Setup, da ging es dann darum, dass es wirklich mit Kamera war, wo guckt man hin, wirklich mit, hochpsychologischen Methoden und nicht einfach nur den reinen User-Input, sondern wirklich auch guckt, was passiert da, böse gesagt, wirklich mit dir. Auch das, was man vielleicht Beispielsweise nicht so direkt rausgeben möchte, was man aber anhand von Eye-Tracking zum Beispiel relativ gut sehen kann, wenn man sieht, wo schaut denn der Spieler hin versus das, was er von sich gibt.

Jessica:
[46:10] Genau, Eye-Tracking ist so ein Verfahren, das in der Psychologie sehr, sehr häufig benutzt wird, weil man sich eben erhofft, dass man dadurch, wo die Leute hinschauen, Rückschlüsse darauf ziehen kann, was in den Köpfen passiert. Und das funktioniert natürlich nur bis zu einem gewissen Grad. Also was wir sehen, wenn man sich solche Eye-Tracking-Daten anschaut, da kann man dann so Heatmaps machen, nennt man das.

Jessica:
[46:37] Wie man es eben auch aus anderen Bereichen kennt, wo dann eben farblich zu sehen ist, wo schauen die Leute besonders lange hin, wo schauen sie besonders kurz hin vielleicht. Das könnte zum Beispiel interessant sein, wenn man, jetzt werden wir nochmal bei unserem fiktiven Spiel sehen. Wenn sich die Leute da irgendwie ein Menü anschauen oder wenn die sich ein Rätsel anschauen, vielleicht gibt es irgendwie ein Minispiel oder so, wo sie irgendwelche, keine Ahnung, ein Puzzle lösen müssen, um irgendwelche Elektroleitungen wieder miteinander zu verbinden oder so. Und da gibt es irgendein User Interface Element, das total wichtig ist. Und dann kann man sich anschauen, mit diesen Heatmaps haben die Leute da überhaupt hingeschaut? Ist da der Blick drauf liegen geblieben? Also da wird dann quasi in diesen Heatmaps gezeigt, wie lange auch man da drauf, oder es wird natürlich über viele Personen zusammengerechnet, wie lange da die Leute im Schnitt drauf schauen. Und vielleicht stellt man dann fest, ah Mist, die Leute haben da total wenig auf dieses Element geschaut, obwohl das wichtig ist. Die sind an was ganz anderem hängen geblieben und haben sich das angeschaut.

Jessica:
[47:43] Was wir natürlich dann trotzdem daraus nicht schließen können, ist, was genau in den Köpfen der Leute währenddessen passiert ist. Also haben die das nicht verstanden? War das irgendwie da so eine coole Animation, dass sie das irgendwie unter Hals empfanden? Oder was ist da eigentlich los, dass sie dahin geschaut haben und nicht dahin? Oder waren die abgelenkt? Ich meine klar, wenn ich viele Personen habe, ist Ablenkung wahrscheinlich nicht mehr so. Das Thema sowas würde sich herausmitteln, aber man muss also, wenn man sich solche Daten anschaut, immer so ein bisschen vorsichtig sein mit diesen quantitativen Daten, weil man nie ganz sicher sagen kann. Kann oder Rückschlüsse daraus ziehen kann, was wirklich in den Köpfen passiert ist, aber man kann es ja kombinieren. Also das ist dann so das, was wir in der Psychologie natürlich gerne machen, dass wir sagen, okay, wir haben hier quantitative Daten, aber um die zu verstehen, brauchen wir eigentlich nochmal sowas Qualitatives.

Jessica:
[48:40] Zum Beispiel solche Think-Aloud-Methoden, also dass jemand währenddessen auch spricht und quasi versucht seine Gedanken zu formulieren, die man gerade in diesem Moment hat. Persönlich finde ich, das wird immer noch viel zu wenig gemacht, beim Playtesting sowieso, aber da hat man oft natürlich nicht eine Eye-Tracking-Kamera. Aber diese Verbindung zwischen quantitativ und qualitativ kommt leider manchmal in der Psychologie zu kurz, in bestimmten Bereichen nicht so sehr, aber ganz oft schon. Und da könnte man dann eben diese Daten gut kombinieren. Okay, wir sehen, die Leute schauen dahin und nicht dahin. und die haben Gedanken dazu und wenn wir diese beiden Informationen zusammenbringen, dann könnten wir vielleicht tatsächlich belastbare Aussagen darüber machen, warum die Leute jetzt genau dahin schauen und nicht woanders hin.

Leo:
[49:29] Ich kann hier so ein bisschen aus dem Nähkästchen plottern. Wir denken natürlich immer an NDAs. Beispielsweise, wir nehmen jetzt das mal bezogen auf unser fiktives Spiel. Ich kriege eine Einladung für einen Test und da geht es dabei, sich ein ganz spezielles Menü anzugucken. Wir haben jetzt ein neues Rätsel und das ist besonders schwer und der Entwickler möchte jetzt wissen, wie geht der Tester überhaupt damit um? In dem Fall wäre zum Beispiel ein Fokustest oder ein Metriktest nicht das Optimale, was man tun kann, sondern da würde sich die von dir angesprochene 1 zu 1 Session am besten mit Webcam super anbieten, weil dann sieht man zumindest grob, wo schaut der Spieler hin.

Leo:
[50:12] Optimalerweise gibt es dann noch die Anweisung an den Playtester, Wenn du das Menü siehst, sag doch mal, was du siehst. Und anhand dessen, welche Elemente der Spieler zuerst erwähnt, welche Elemente er in welcher Ausprägung erwähnt, dass man da halt die Emotion und diesen Reasoning-3, das Denken wirklich aktiv beobachten kann. Wo geht mein Fokus hin? Was sehe ich versus das, was der Entwickler möchte, dass man sieht, dass man da eigentlich als Researcher sagt, man möchte da gerne eingreifen. Es wäre aber das absolut verkehrteste, an diesem Punkt einzugreifen, wenn man aktiv sehen möchte, wie denkt der Spieler, wie entsteht der Denkprozess, welche wertvollen Infos bringt der Spieler mir in dem Fall sogar, weil ich kann ja mein Menü so designen, wie ich will als Entwickler. Der Playtester, der kann das komplett anders sehen und auch mehrere Playtester können das komplett anders sehen als das, wie man es so als Entwickler entwickelt hat. Da sind wir dann auch wieder bei den vielleicht kleinen Fehlern, die später etwas teurer werden, wenn man sie nicht am Anfang korrigiert, weil man das Rätsel noch weiterentwickeln möchte.

Jessica:
[51:28] Exakt. Das ist ja genau das Problem, das man hat, wenn man eben die ganze Zeit selbst damit beschäftigt ist. Dann ist es für einen total logisch, dass das so funktioniert. Und es wird immer schwieriger, sich selber in diese Rolle reinzuversetzen. Okay, wie würde ich da drauf schauen, wenn ich das noch nie gesehen hätte? Weil natürlich, ich sehe das jeden Tag, an dem ich daran arbeite.

Jessica:
[51:51] Da wird es ganz, ganz schwierig, gerade wenn man dann früh eine Entscheidung getroffen hat und dann fängt man da an, an diesem Menü rumzufrickeln und dann gibt es da plötzlich eine neue Mechanik und dann baut man das irgendwie auch noch in das Menü ein und dann wird das so ein bisschen so ein, ich habe gerade das Bild von dem Haus von What Remains of Edith Finch im Kopf, wo immer so ein Zimmer angebaut wurde. Und dann hat man so ein Menü, das für einen selber total Sinn ergibt, weil man es halt jeden Tag sieht und das ein gefühlt logischer Prozess war, wie sich das entwickelt hat. Aber für jemanden, der da naiv, also im Sinne von, ich habe es noch nie gesehen, drauf schaut, ist es überhaupt nicht verständlich. Und dann prallen da so zwei Welten aufeinander und das ist dann manchmal auch schwierig natürlich für einen Dev, davon nochmal Abschied zu nehmen, weil es einerseits bedeutet, okay, es ist jetzt echt nochmal viel Arbeit, das zu ändern und zum anderen aber auch, hey, das ist doch logisch, also ja, für einen selber ist das irgendwie klar und da, und dann wie du auch sagst, eben nicht zu versuchen zu sagen, ja gut, dann müssen wir jetzt halt das Menü besser erklären, sondern nochmal den Schritt zurück zu gehen und zu sagen, okay.

Jessica:
[52:58] Was haben wir jetzt gelernt aus dem, wie diese Denkprozesse bei den Leuten stattfinden, wenn sie da drauf schauen und wie müssen wir es dadurch verändern, dass die Leute dahin schauen, wie wir das eigentlich wollen?

Leo:
[53:12] Bestes Beispiel, wir hatten ja ganz am Anfang darüber geredet, über den, nenne ich es mal, Mini-Playtest auf der Messe, wo wir beide nebeneinander standen und ein Spiel gespielt haben, was ich zum ersten Mal gesehen habe. Wo du ja direkt ganz andere Dinge im Kopf hattest und gesehen hast, als ich sie gesehen habe. Aber wir im Nachhinein, als wir darüber gesprochen haben, festgestellt haben, beides waren absolut valide, sinnvolle Ergänzungen. Heißt, du hast gesehen, wie ich auf etwas reagiere oder warum ich auf etwas reagiere. Und ich hatte ja dem Dev nebenbei so ein bisschen erklärt, was ich so sehe und was ich tue. Und gerade solcher Input, solches Feedback sehe ich als super wertvoll für den Dev, weil er sowas in Reinform kaum bekommt.

Jessica:
[53:59] Ja, also gerade diese Kombination fand ich auch selber total bereichernd, weil ich habe jetzt dieses Think aloud angesprochen. Das ist so ein Prinzip, das eben gerade so in der Usability-Forschung, also wo es eben genau um solche Fragen geht wie, wie gut kann man, wie gebrauchstauglich, das wäre so das deutsche Wort, auch wenn das nicht viel benutzt wird, ist eine Sache und in dem Fall jetzt eben so ein Spiel, wie gut funktioniert so ein Menü und so weiter, macht das das, was die Leute erwarten, sind die Sachen da, wo sie sie suchen und so weiter.

Jessica:
[54:35] Das ist ja eine Kunst tatsächlich und ein Skill, den man trainieren muss, dieses Think aloud durchzuziehen, weil was man in der Forschung eben ganz, ganz oft sieht, also wenn wir da in unseren psychologischen Instituten da Leute einladen und sowas machen, mal mit so Think aloud, das macht jetzt nicht jeder jeden Tag, aber das kommt schon ab und an vor, dass man sowas macht, dass die Leute dann zwei Sätze sagen und dann sind sie fünf Minuten still. Und natürlich denken die in der Zeit ganz viel, aber sie vergessen einfach, dass sie das eigentlich gerade verbalisieren sollten und erklären sollten, was sie da denken und warum sie das vielleicht denken, was jetzt ihre Frage ist, die sie vielleicht haben, gerade versuchen zu lösen, wo sie jetzt versuchen, Hilfe zu finden auf dem Bildschirm und so weiter. Also da quasi kontinuierlich diese Gedanken, die man gerade hat, zu verbalisieren, das ist nicht so leicht. Das muss man tatsächlich auch üben. Und das fand ich sehr beeindruckend, weil du das, finde ich, so wie ich das in Erinnerung habe, echt gut hingekriegt hast, das zu machen und ich dadurch dann... Eben auch Material in Anführungszeichen hatte, das ich dann mit dem Werkzeugkasten der Psychologie deuten konnte, in Anführungszeichen.

Leo:
[55:56] Für mich ist es unheimlich schwer, in diesen, ich nenne ihn mal Metamodus zu gehen, um wirklich A, mich selber zu beobachten, was ich gerade denke. Es reicht ja nicht einfach so, wie der normale Gamer hingeht, das Spiel zu spielen, sondern in so einer Situation muss ich zusätzlich mich selber nochmal aus Metasicht betrachten, um feststellen zu können, in Echtzeit, da sind wir wieder bei Cognitive Load.

Leo:
[56:28] Sagen zu können, ja was fühle ich denn gerade, was passiert denn überhaupt gerade? Und das dann gleichzeitig noch auditiv Output hinzukriegen, um es mal so zu nennen, ist echt nicht leicht und ich verstehe da super gut, wenn du sagst, das ist was, das muss man üben, das muss man auch wollen und das ist absolut nicht mehr die normale Spielweise, wie man an ein Spiel rangeht. Wenn man es braucht mehr Zeit, der Flow wird immer gebrochen, weil man ja bewusst in dem Fall den Flow bricht, um sich Menüpunkte UI, UX anzugucken und dann noch dem Researcher zu erklären, was man gerade sieht, fühlt. Denkt, vielleicht auch Denkketten. Warum komme ich jetzt zu dem Gedanken? Weil, keine Ahnung, da waren drei Knöpfe und ich brauchte aber den mittleren, dachte ich zumindest. Aber letztendlich ist es doch der Knopf ganz rechts, den ich drücken muss. Und irgendwas im Spiel muss mich ja dazu gebracht haben, in unserem kleinen Raumschiff-Spiel, warum ich denke, dass es der Knopf in der Mitte ist oder das Element in der Mitte und nicht das, was es eigentlich gewesen ist.

Jessica:
[57:45] Ja, total. Also diese Fähigkeit, da von sich selber einen Schritt zurückzutreten und dann ja auch noch, wenn man gerade in diesem Think-Aloud-Setting dann versucht, das irgendwie auch noch so zu formulieren, dass das Gegenüber auch noch versteht, was man meint. Also das braucht so viele kognitive Prozesse, dass dann auch so ein total simples Spiel schon echt anspruchsvoll zu playtesten wird, wenn man diese Ebenen mit reinnimmt und das quasi simultan versucht noch zu übersetzen, was man gerade selber denkt. Aber diese Daten sind halt, wenn man sie hat, total wertvoll. Und da denke ich auch immer wieder so, gerade auf der Gamescom oder so, an den Indie-Ständen, da... Lobe ich manchmal dann auch die Indies, also die Devs, die da stehen und mir tatsächlich über die Schulter schauen. Also ich verstehe es ja auf so einer Messe dann immer so eine schwierige Situation, weil manche Leute möchten jetzt auch nicht so richtig beobachtet werden, wenn sie gerade ein Spiel spielen wollen und anspielen wollen. Und gleichzeitig ist natürlich das Interesse der Devs auf so einer Messe auch möglichst viele Informationen zu kriegen, weil das ja auch eine Form von riesigem Playtest eigentlich ist. Und das da irgendwie gut hinzukriegen, also gehe ich dann oft auch zu Devs und sage, hey, ihr könnt mir jetzt wirklich über die Schulter schauen und ins Gesicht starren, wenn ihr das möchtet.

Jessica:
[59:08] Das ist okay und ich kann euch dazu was sagen, weil ja, jetzt haben wir gerade gesagt, okay, Eye-Tracking, das ist natürlich cool, aber ist ja auch sowas, was man jetzt als Indie-Dev nicht unbedingt zur Verfügung hat, weil die guten Eye-Tracker sind natürlich auch teuer. Man kriegt da Rohdaten raus, die man erstmal auch entsprechend aufbereiten muss und so. Also das ist alles schon mit echt viel Arbeit und Ressourcen, also sowohl zeitlich als auch geldlich verbunden.

Jessica:
[59:38] Aber auch so auf einer Messe Eindrücke sammeln von Menschen, die das Spiel spielen, kann ja echt wertvoll sein. Wenn dann auch noch Leute vorbeikommen, die dann da auch bereit sind, nochmal Feedback zu geben oder so. Also auch daraus kann ich, wenn ich auch gute Fragen stelle, ganz viel auch rausziehen, ohne dass ich auf diese technische Ebene wechseln muss.

Leo:
[1:00:02] Sehe ich gerade für den Dev als eine der besten Methoden, sich Feedback zu holen, indem er so ein Event, es klingt jetzt erstmal banal auf den ersten Blick, aber als High-Speed-Playtest-Lab ansieht. Man hat 10, 20, 50 Spieler, die testen in einer sehr kurzen Zeit das Spiel. Und man kriegt sehr viele Eindrücke in sehr kurzer Zeit, wo man dann, sprechen wir gleich noch drüber, wirklich mal trennen muss. Ist das Feedback emotional getrieben? Ist das Feedback, ich habe keinen Bock, weil es mir zu schwer ist? Oder gibt es noch ganz andere Punkte, die man vielleicht sogar betrachten muss?

Jessica:
[1:00:48] Und das finde ich da so schön auch eben bei den Indie-Ständen. Manchmal sehe ich da wirklich, ich darf es dann mit so einem Blog stehen. Ich meine mich zu erinnern, dass auch bei MapMap, was ja jetzt auch ein ziemlich großer Erfolg geworden ist, die das mit Blog dastanden und sich Notizen gemacht haben und dass, denke ich dann ganz oft bei den ganz großen Double-A, Triple-A-Ständen, wo dann eigentlich nur noch Marketing-Menschen stehen aus der PR-Abteilung, die aber mit der Entwicklung eigentlich gar nichts zu tun haben.

Jessica:
[1:01:23] Die können einem dann Fragen natürlich auch ganz oft gar nicht beantworten, also zumindest nicht die Art von Fragen, die ich dann eigentlich gerne stellen würde, also über die Hinterkunde, über Designentscheidungen und so weiter. Also das ist für mich dann als Interessierte, sag ich mal, schade. Aber natürlich auch für die Devs dann gar keine Möglichkeit, auf so einer Messe Feedback zu sammeln. Und klar kann man natürlich sagen, ja gut, so ein Double oder Triple A Studio, die haben natürlich nochmal ganz andere Playtesting-Möglichkeiten. Aber trotzdem so dieser direkte Kontakt mit dieser Messe-Experience, die ist, finde ich, schon nochmal besonders und meine Fantasie ist, auch wenn ich das jetzt nicht mit Zahlen belegen kann oder so, dass so ein Playtesting auf einer Messe einfach durch die Geräuschkulisse, die im Hintergrund ist, durch das Mindset, in dem die SpielerInnen da selber auch gerade sind, nämlich eben, hey, ich streune jetzt hier einfach mal über die Messe, stelle mich mal irgendwo hin und probiere das jetzt mal fünf Minuten. Ist ja auch ein ganz anderes Mindset, als wenn ich, mich jetzt bewusst als Playtester irgendwo bewerbe, dann zu Hause in meinem stillen Kämmerlein vor dem PC oder der Konsole sitze und das ausprobiere. Also da kriege ich ja auch nochmal ein ganz anderes Feedback raus von den Spielenden.

Jessica:
[1:02:48] Ein ganz anderes Erlebnis. Vielleicht eher das, was man jetzt zum Beispiel halt auch bei einem Steam Next Fest oder so hat, wo Leute ganz viele Demos einfach mal fünf Minuten anspielen, zu Hause, ja dann nicht mit der Geräuschkulisse und so, aber eben mehr dieses schnell mal hier irgendwie reinschauen, das ist ein ganz anderes Feedback, ganz andere, Situationen als das andere Playtesting und da frage ich mich manchmal, nehmen die sich da nicht selber was dadurch, dass da gar niemand dabei steht und auf diese Sachen achtet?

Leo:
[1:03:18] Für mich, wie drücke ich das jetzt am besten aus? Wenn ich auf Messen bin, ist das für mich tatsächlich kein 100% normales Spiel mehr. Einfach weil ich im Hintergrund dieses, nennen wir mal Playtester-Gen inzwischen habe, wo ich intuitiv auf Dinge achte oder auch Dinge feststelle. Das mache ich unbewusst inzwischen. Dass ich sage, hier ist ein Flowbreak oder da passt ein UI-Element aus meiner Sicht eben nicht. Merksatz, den ich da immer schön habe, ist, wir Spieler zeigen, wo es brennt, wir sagen aber nicht, wie es zu reparieren. Das heißt, wir geben nur den Input und da hatten wir ja eben schon drüber gesprochen, die reinen Designentscheidungen, was man daraus macht, gerade wenn ein Fehler mehrfach gemeldet wird und auch nüchtern als Signal mehrfach gemeldet wird. Das muss dann natürlich der Dev das Studio machen, aber für mich ist es auf jeden Fall Event-Testing ist für mich inzwischen anders, als ich gehe einfach mal zu einem Stand und spiele einfach ein Indie-Spiel, so wie es der normale Gamer tun würde. Passiert ab und zu auch noch bei mir, aber meistens intuitiv sehe ich bereits Dinge oder mache mir meine Gedanken dazu.

Jessica:
[1:04:34] Ich glaube, das ist auch was, was man irgendwann schwer abstellen kann und was einem auch bewusst sein muss, wenn man sich dafür entscheidet, wirklich regelmäßig Play zu testen, wie du zum Beispiel oder auch wie wir bei Behind the Screens, dass man lernt, so eine Brille aufzusetzen, was einerseits total wertvoll ist, aber es immer schwerer wird, diese Brille dann auch abzusetzen, gerade wenn irgendwie in einem Spiel dann was passiert, was einen frustriert, irritiert oder sonst was, das automatisch diese Brille wieder aufsetzt und sagt, okay, warum ist das gerade passiert? Also, dass man immer mehr trainiert, in diese Metasicht auf einen selber zu kommen. Um eben in seinem Job gut zu sein, aber dass das dadurch auch schwieriger wird, diese Brille wieder abzusetzen und einfach so in Anführungszeichen ein Spiel zu genießen. Kann auch passieren, stimme ich dir zu, also das erlebe ich zum Glück auch noch, aber es ist nicht mehr so selbstverständlich, wie das eben ist, wenn man das gar nie macht.

Typische Playtesting-Fallen und wie man sie umschifft.

Jessica:
[1:05:43] Aber lass uns doch mal einen Schritt weiter gehen. Was sind denn so deine Erfahrungen, was geht denn häufig so schief vielleicht auch beim Playtesting, wo du sagst, ah Mensch, das war eine gute Intention von den Devs, dass sie hier Playtesting machen wollten, aber die Da haben sie die Gelegenheit nicht gut genutzt. Oder das war einfach nicht so richtig klug.

Leo:
[1:06:07] Ich muss natürlich jetzt so ein bisschen vorsichtig sein, was ich sage, gerade wenn ich entsprechende Erfahrungen schon habe. Wir denken mal daran, dass wir bei dem fiktiven Spiel bleiben. Der Entwickler hat mir einen Fragebogen gegeben. In dem Fragebogen steht drin sinngemäß als erste Frage, wie hat dir das Spiel gefallen? Offene Frage, Textblock. Ist allerdings schon der zweite Schritt. Der erste Schritt ist, sinngemäß, hier hast du ein Key, hier hast du ein Bild, ein Beta-Test-Key, mach mal. Ohne Ziel, ohne Fragebogen, sprich, ist es kein Key-Result benannt worden, es ist unklar, wie der Spieler jetzt die Exploration machen soll. Vielleicht ist es sogar um jetzt in einer psychologischen Sicht zu bleiben Sunshine Overload, weil der Spieler einfach in ein Level geworfen wird und sich dann erstmal überhaupt zurechtfinden muss, wo wir dann wieder bei besagten Flow Breaks von eben sind der Flow kann gar nicht erst beginnen weil der Spieler in das Spiel geworfen wird, am besten noch ohne Tutorial, um jetzt mal bei sehr bösen Fällen zu bleiben.

Leo:
[1:07:21] Und danach kriegt er dann besagten Fragebogen und da stehen dann Fragen drin wie, wie hat dir das Spiel gefallen und würdest du das Spiel kaufen? Sind sicherlich berechtigte Fragen, absolut nicht falsch verstehen. Sie helfen dem Entwickler aber in dem Punkt, unter dem wir es gerade betrachten, nicht weiter. Wo hat es gehakt? Wo gab es den Break? Wo muss ich vielleicht nochmal mit dir sprechen oder entsprechend Dinge nachbessern? Um jetzt mal den ersten Punkt zu nennen. Zweiter Punkt, den ich sehe, ist ein offener Dialog, der zwar gewünscht ist, aber nicht so ausgeführt wird, wie man ihn gerne hätte. Heißt, man fängt eine Diskussion im Discord an, benennt vielleicht sogar eine Situation. Dann kommen diverse Rückmeldungen, aber die Diskussion startet nicht.

Jessica:
[1:08:17] Also dann ist das so ein bisschen so eine Einbahnstraße und da wird dann ganz viel auch liegen gelassen. Also da wäre vielleicht noch mehr Potenzial drin, dann so rauszukitzen, okay, was war es eigentlich genau, aber dann bleibt der Dialog irgendwie auf der Strecke.

Leo:
[1:08:34] Richtig und teilweise finde ich das auch so ein bisschen schade, weil gerade du sagst ja, ihr beschäftigt euch aktiv mit Feedback, mit Feedback-Methoden, mit Behind-the-Screens, dass man halt sagt, man hilft dann sicherlich auch den Devs einen schönen belastbaren Fragebogen auszuformulieren.

Jessica:
[1:08:55] Das ist natürlich eine Stärke der Psychologie, die beschäftigt sich ja viel mit solchen Fragen, der Fragebogenkonstruktion auch, weil, wie du es gerade auch schon angedeutet hast, zu fragen, macht das Spiel Spaß? Das kann man schon machen und natürlich, das ist ja auch das, wenn man irgendwelche Reviews anschaut von Spielen, gerade natürlich auch noch früher, als es da wirklich so diese Waschmaschinentests, wie man es dann oft genannt hat, gab. Spaßfaktor 40 Prozent oder 80 Prozent oder sowas. Also was ist das überhaupt? Da fängt es ja schon an damit, über was sprechen wir eigentlich? Was ist das für ein Konstrukt, das uns gerade interessiert?

Jessica:
[1:09:39] Wollen wir, also wenn wir beim Spaß bleiben, was ist das eigentlich, was uns da genau interessiert? Das ist ja so ein eigentlich nicht greifbarer Begriff, der super gedehnt wird in alle Richtungen. Jeder versteht was anderes drunter. Da zu sagen, okay, wir brauchen wahrscheinlich ein anderes Konzept als Spaß. Lass uns doch mal anschauen. Wir benutzen zum Beispiel natürlich oft die psychischen Grundbedürfnisse als Motivatoren. Da gibt es ganz viel Theorie dazu, die sagt, okay, wenn bestimmte psychologische Grundbedürfnisse befriedigt sind, dann sind Menschen bereit, mit der Sache, die sie gerade tun, weiterzumachen, also sind motiviert dazu. Vielleicht müssen wir uns eher Motivation anschauen und schauen, was für Fragen müssen wir stellen, um diesen Motivationsaspekt rauszukitzeln. Oder man sagt vielleicht, hey, hier geht es insbesondere darum, dass die Leute intensive Emotionen erleben. Dann müssen wir Fragen stellen, die in diese Richtung abzielen und am besten kritisieren. Natürlich so, dass wir die Antworten zwischen den Menschen auch vergleichen können. Also vielleicht brauchen wir tatsächlich irgendwie ein quantitatives Verfahren, wo die was ankreuzen und vielleicht auch irgendwie ein offenes Format, wo sie nochmal Stellung dazu beziehen können oder so. Und da dann zu schauen, okay, was sind eigentlich die Fragen, die hinter Was macht Spaß steckt zum Beispiel oder hat dir das Spiel Spaß gemacht?

Jessica:
[1:11:09] Und dafür psychologische Konstrukte zu finden, die man vernünftig auch testen und danach verstehen kann. Also die einen, wie du es jetzt eben auch schon angesprochen hast, zu Antworten führen, mit denen man wirklich was anfangen kann, die eben nicht stehen bleiben bei, okay, den Leuten macht es halt nicht Spaß, aber da habe ich keine, also da habe ich diese Information rausgewonnen, aber halt leider wirklich nicht mehr.

Leo:
[1:11:33] Ja. Ein schönes kurzes Beispiel dazu tatsächlich. Und zwar, es gibt eine Frage, ihr habt einmal vier Antwortmöglichkeiten, also vier Punkte zum Ankreuzen und einmal fünf Punkte zum Ankreuzen. Bei den vier Punkten zum Ankreuzen muss man sich für eine Richtung entscheiden, bei den fünf kann man auch in die Mitte gehen. Und da kann man ja wunderbar schon Intentionen mit abfangen, wo denn so eine Spielermeinung nach hingeht.

Jessica:
[1:11:59] Ja, total. Das ist so eine Entscheidung, die auch ganz oft gar nicht so bewusst getroffen wird, die aber natürlich total wichtig ist und bestenfalls eben auch, wenn man dann so einen Fragebogen hat, dass alle Fragen dann die gleiche Anzahl an Antwortmöglichkeiten haben sollten. Das nicht quasi einmal sind vier und einmal sind fünf oder so, dann wird es nämlich auch schon schwierig, wenn man das jetzt wirklich statistisch aufbereiten wollen würde. Ja, muss man oft natürlich auch nicht. Muss man schauen, in was für einem Zusammenhang ist das. Ein AAA-Studio arbeitet da natürlich auch wieder anders als ein Indie, hat ganz andere Anforderungen und so. Aber dass man auch bei sowas schauen muss, was eigentlich gerade von Relevanz ist und was nicht. Natürlich auch überhaupt kann man Fragebögen nehmen, die validiert sind, wie wir in der Psychologie sagen, also die wirklich an einer großen Stichprobe auch getestet sind, wo sicher ist, fragen diese Fragen eigentlich das, was sie fragen sollen und was man damit erreichen möchte. Also da wird es dann unter Umständen auch schon komplex. Man muss schauen, darf man diese Fragebögen nutzen?

Jessica:
[1:13:15] Sind das freie Fragebögen? Muss man da was für zahlen, wenn man die kommerziell nutzt und so weiter? Oder macht man eben was Eigenes, aber dann eben auf die Gefahr hin, dass man vielleicht, man hat jetzt irgendwie so ein Konstrukt, Was man abfragen möchte, Motivation und sagt, okay, Motivation hat jetzt für uns hier drei Unterkategorien, sage ich jetzt einfach mal und da stellen wir jeweils drei Fragen dazu, aber vielleicht können wir gar nicht, ja, dann stellen wir diese Fragen, aber wissen gar nicht, ob die drei Fragen, die wir uns zusammengedacht haben für das eine Konstrukt, ob die sich wirklich nur auf das eine Konstrukt beziehen und nicht doch auch auf das andere. Und dann kriege ich vielleicht Antworten raus, die ich falsch interpretiere und die mich dann zu falschen Designentscheidungen führen. Und das zu vertiefen wäre jetzt natürlich eine eigene Folge, können wir jetzt hier nicht machen, aber da so eine... Gewisse Sensibilisierung reinzubringen für die Devs, so hey, es ist total wichtig, was ihr für Fragen stellt und wie ihr diese Fragen auswertet, um gute Erkenntnisse daraus gewinnen zu können. Das ist sowas, was wir uns so auf die Fahnen geschrieben haben.

Leo:
[1:14:27] Feedback, was nie umgesetzt wird, ist ja auch eine schöne oder nicht schöne, je nachdem wie man sieht, Mechanik, dass man hingeht und sagt, der Spieler gibt ja bewusst Feedback in einem Playtester-Prozess. Aber in dem Spiel habe ich zum Beispiel angemerkt, es dauert lange, eine bestimmte Tür zu öffnen, um jetzt mal ein konkretes Feedback zu nehmen. Da kommt dann von dem Entwickler die Antwort, nö, das ist genauso gewollt, weil das Spiel braucht sechs Sekunden zum Laden für den nächsten Raum, so im Schnitt und abhängig vom System. Und da wollen wir tatsächlich, dass diese Tür, dass du da dran ruckelst, dass du da dran vielleicht irgendeinen Pattern machst, wo du ganz oft einen Button drücken musst, wo der Spieler bewusst beschäftigt wird, während das Spiel andere Aufgaben übernimmt.

Jessica:
[1:15:18] Ja, das ist ein interessantes Beispiel. Da würden, wenn wir jetzt daran beteiligt wären als Behind the Screens, würden wir dann sagen, hey, okay, ihr habt dieses Feedback gekriegt und es ist total nachvollziehbar, wie du jetzt auch gerade dargelegt hast, dass es einfach einen technischen Hintergrund hat. Aber lasst uns doch mal schauen, ob wir zumindest dafür sorgen können, dass Nichtspielende vielleicht auch abbrechen, weil sie denken, das ist nicht das Richtige. Also wir waren jetzt gerade vorhin bei den Metriken, haben gesagt, okay, können da natürlich ganz viel machen. Was zum Beispiel, was ich weiß, bei Double- und AAA-Studios auch gemacht wird, ist, dass man.

Jessica:
[1:15:58] Wenn es um das Level-Design geht, dann zum Beispiel loggt, wie lange sind Menschen an bestimmten Stellen unterwegs. In diesem Level, welche Tasten drücken sie da, um zum Beispiel auch rauszufinden, denken Leute, da kann man irgendwo hinspringen, wo man aber eigentlich nicht hinspringen kann. Und wie müsste man da dann quasi die Levelstruktur verändern, dass das klarer kommuniziert, hey, das ist nichts, wo du hinspringen oder hinklettern kannst.

Jessica:
[1:16:27] Und in diesem Fall würde man vielleicht ja dann auch irgendwie anhand solcher Metriken sehen, okay, da drücken die Leute ein paar Mal die Taste und da geht die Tür aber nicht auf und dann gehen sie weg, weil sie denken, das ist jetzt nicht der richtige Weg. Und dann könnte man überlegen, hey, wie können wir hier an der Stelle klarer kommunizieren, dass das schon der richtige Weg ist, aber dass das ein bisschen braucht. Also vielleicht, dass diese Tür langsam nachgibt und mir aber visuell klares Feedback gibt oder dass der Charakter irgendwie sowas sagt wie, das sitzt platt, müsste man natürlich ein bisschen cooler machen, aber im Sinne von langsam geht es auf oder so. Oder ja, also wie können wir den Spielenden dann zumindest Feedback geben in dem Moment, dass sie nicht abbrechen oder frustriert sind oder sich darüber wundern? Wie kann man das narrativ einbetten? Wie kann man das visuell noch ein bisschen klarer machen? Und wie das genau umgesetzt wird, ist dann natürlich bei den Devs. Aber wir würden dann zusammen schauen, wie können wir hier klar kommunizieren, dass das das Richtige ist, dass dann vielleicht später auch gar niemand mehr sagt, hey, das dauert echt lange, die Tür zu öffnen, sondern sich das als natürlich und richtig anfühlt und aber auch eben nicht verwirrend ist.

Leo:
[1:17:40] Das sind dann besonders gerne diese Tests, wo der Tester sich überlegt, warum teste ich das überhaupt? Vielleicht, warum kriege ich jetzt gerade einfach nur ein Key und soll einfach mal ein bisschen spielen? Und im Hintergrund ist das ein Debug-Bild, wo Hardcore-Metriken erhoben werden, wo du quasi implizit mit deinen Daten Rückmeldung gibst. Und noch nicht bei Zwingen vielleicht durch Fragebogen ausfüllen, sondern das reine Spielen, die reine Telemetrie dahinter reicht schon. Als implizites Feedback, weil du bist ein Mensch, du spielst das und dadurch erzeugst du Daten und damit kann ein Studio natürlich auch arbeiten.

Jessica:
[1:18:19] Ich kann mir auch vorstellen, also du hast es schon mehrfach angesprochen, dass es diese Fokustests gibt, wo es ganz spezifisch auch darum geht, dass man eine bestimmte Sache eigentlich testen möchte. Wie funktioniert das, dass die Leute sich da dann nicht doch an was ganz anderem aufhängen oder passiert das trotzdem auch?

Leo:
[1:18:40] Ich habe mir in der Vorbereitung zu der Folge ein Wort aufgeschrieben. Ich habe es mal Minecraft-Effekt genannt, wo man hingeht und das Reasoning so breit wird, dass man sich teilweise sogar selber neben Quests gibt, obwohl das Spiel das gar nicht möchte. Wo man dann hingeht, im Gegensatz zu einem Shooter zum Beispiel, wo man am besten, ich nenne es mal Solo-Thread denkt, aufgrund der enormen Denkgeschwindigkeit und der Spieler sich dann sehr bewusst und gerichtet auf bestimmte Situationen fokussiert. Da wirklich sich bewusst auf Exploration einzulassen und die Grenzen zu setzen, das sehe ich dann wieder beim Entwickler, der dann natürlich gucken muss, wie verhindere ich, dass ein Spieler sich, 15 Nebenquests baut, die er sich am besten noch sogar selbst gestellt hat und muss sich die Frage stellen, ist das in dem Moment gewollt? Ist das vielleicht sogar ein Flow, den ich bewusst zulasse? Versus eigentlich will ich den Spieler aber so langsam doch mal ein bisschen mehr durch das Spiel ziehen. Und eigentlich muss ich da, keine Ahnung, eine Wand, eine virtuelle bauen. Ich muss so eine Tür abgeschlossen lassen, um jetzt in unserem Raumschiffspiel zu bleiben, dass der Spieler das vielleicht einmal an der Tür rütteln kann. Aber der kann da gar nicht durchgehen, weil ich nicht möchte, dass er zu dem Zeitpunkt sich auf diese Nebenquests einlässt.

Jessica:
[1:20:07] Mich begeistert sowas einfach immer wieder, weil auch jetzt in diesen Beispielen, die du mit reinbringst und die wir hier so zusammentragen, so deutlich wird, wie so kleine Entscheidungen ganz, ganz stark beeinflussen, was für eine Spielexperience da am Ende bei rauskommt. Und der Fokus, den man auch beim Playtesting dann jeweils setzt, eben ganz, ganz stark darüber entscheidet, was man an Informationen rausbekommt und die wiederum dann informieren, welche Entscheidungen man dann vielleicht treffen muss und wie stark diese Sachen einfach zusammenhängen. Du hast jetzt schon ganz häufig das Signal und den Noise angesprochen. Lass uns doch da nochmal kurz reingehen, was diese Begriffe eigentlich meinen und warum die fürs Playtesting so wichtig sind.

Leo:
[1:21:02] Und ich hole mal ein bisschen aus. Fangen wir doch einfach mal an mit dem klassischen Rage-Quit. Der Rage-Quit, der sagt, ich bin mit der Situation absolut unzufrieden, ich drücke meinen Alt-L4, hat bestimmt jeder Gamer schon mal irgendwo gehabt und gehe dann ganz aufgebracht emotional zum Entwickler und sage, das da war scheiße. Ist in dem Fall ein Bug-Report, meinetwegen sogar valide, weil vielleicht die Stelle passt, aber in dem Fall geht der Spieler sehr emotionsgetrieben hin, verwässert oder verzerrt in dem Moment vielleicht sogar den Bug-Report, weil er nicht explizit das reportet, was er reporten möchte, sondern aufgrund seiner Emotionen, Geladenheit, vielleicht des Rage-Quits, um jetzt in unserem Beispiel zu bleiben. Das sind dann die Feedbacks, die ich so teilweise mitlesen kann, wo ich sage, ja, ist ja schön, dass da ein Feedback gekommen ist, aber irgendwie der Metakontext fehlt mir da drin. Wohingegen ich jetzt Signals sehe, es kommen von mehreren Spielern gleiche Fragen.

Leo:
[1:22:11] Es gibt Spieler, die suchen bestimmte Lösungen, finden aber keine, können das aber klar benennen. Sprich explizit On-Point-Feedback, was wiederkehrend und im Optimalfall mehrfach zurückgespielt wird. Wo manche Playtester dann sogar hingehen, einzelne Lösungen vorschlagen, wo wir dann wieder das Prinzip von eben hatten, dass das Studio selber natürlich entscheiden muss, was macht es daraus und die Rückmeldung vom Spieler nur als Vorschlag zu verstehen ist. Das heißt, da sind so persönliche Geschmäcker entscheidend, da ist sicherlich Emissionsgetriebenheit entscheidend, um halt, das ist so die Kunst, deshalb habe ich es eben auch High Speed Playtest Lab auf Events genannt, da kriegt man super schnell super viel Feedback und die Kunst ist es daraus, wie du es nanntest, den Metakontext zu lesen, was genau ist denn jetzt von den 100 Feedbacks in zwei Tagen für mich wichtig?

Jessica:
[1:23:14] Ja, es ist am Anfang durchaus auch überfordernd. Wenn wir uns vorstellen, bei unserem fiktiven Spiel, das ist vielleicht das Erstlingswerk und man kommt frisch von der Hochschule. Ist das Spiel, bei dem man das jetzt so richtig sammelt, im größeren Kontext auch, eben nicht nur unter Studis, dass man dann gegenseitig irgendwie playtestet und das ja auch Leute sind, die selber schon Erfahrung haben und, diese Denkweise drin sind, sondern mit echten Menschen da draußen, die das nicht auch studieren, das macht und da dann so eine ganze Latte irgendwie an Feedback bekommt, das erstmal zu sortieren, ist ja tatsächlich auch erst mal, was, was einen ganz schön fordern kann. Und da ist dieser Blick zu sagen, okay, was häuft sich wirklich, was ist das Signal, natürlich total wichtig und kostet auch nochmal Zeit. Also darf man auch nicht unterschätzen, wie viel Zeit man da nochmal reinstecken muss, um dieses Feedback dann wirklich zu sortieren und zu verstehen, was eigentlich dahinter steckt.

Leo:
[1:24:18] Am Anfang habe ich mich immer gefragt, gerade bei dem Playtest, warum dauert das denn so lange, nachdem der Playtest gewesen ist? Inzwischen bin ich dahinter gekommen, oder wie du gerade schon gesagt hast, ein Researcher geht erstmal hin, liest sich alles durch, clustert die Fragen, guckt, was ist davon relevant, muss dann explizit sogar vielleicht Maßnahmen für Devs abgleiten, so als Vorfilter. Und danach gibt es dann vielleicht erst eine Woche oder im Extremfall vielleicht sogar auch erst zwei Wochen später überhaupt das Ergebnis von dem Test. Und das ist so das, was der Spieler teilweise überhaupt gar nicht auf dem Schirr hat. Der denkt, der macht seinen Playtest und denkt, ja, dann kriege ich so eine halbe Stunde später danach eine kurze Zusammenfassung dazu.

Jessica:
[1:25:05] Genau und morgen gibt es den Patch und es ist alles umgesetzt. Aber genau, es sind einfach Prozesse, die Zeit kosten, die man sich sicher auch ein Stück zumindest vereinfachen kann, wenn man von Anfang an gute zielgerichtete Fragen stellt. Da haben wir auch schon jetzt drüber gesprochen. Also so ein allgemeines, gefällt es dir? Würdest du es kaufen? Was sollen wir ändern? Ist vielleicht nicht so zielführend, wie wirklich spezifisch nach Denkprozessen zu fragen. Hey, wo wusstest du nicht weiter? Was hat dich irgendwie rausgerissen vielleicht auch? Wieso? Warum hast du die Entscheidung getroffen und nicht jene, wie du jetzt vorhin an diesem Türbeispiel schon gemacht hast? irgendwas hat dich dazu bewogen, da zu der zweiten Tür zu gehen oder den zweiten Schalter zu drücken, aber eigentlich wäre es das daneben gewesen. Also wenn ich spezifische Fragen stelle, kriege ich natürlich auch verwertbarere Antworten ganz häufig, als wenn ich sehr schwammige Fragen stelle. Hast du Spaß, wo ich gar nicht weiß, was das eigentlich für ein Konzept ist?

Leo:
[1:26:09] Mir sind es, Lange Fragebögen tatsächlich meistens sogar lieber als kurze Fragebögen, speziell wenn sie gut ausgearbeitet sind, dann dauert ein Fragebogen vielleicht mal, nehmen wir jetzt Extremfälle, mal eine halbe Stunde, Stunde, vielleicht sogar noch länger. Aber ich weiß, die Fragen sind explizit on point gestellt, gerade wenn es Richtung professionell geht. Und ich weiß, aus diesen Fragen gibt es ja auch verschiedene Möglichkeiten zu fragen. Hatten wir ja auch schon, offene Fragen, Ankreuzfragen, Fragen, wo man bestimmte Elemente ordnen muss, wenn man bestimmte Level-Elemente hat. Ich habe die Tür, ich habe den Strom, ich habe meinen Hebel. Woran dachtest du zuerst? Ordne doch mal bitte ein. Das sind dann Methoden, mit denen kann ich wunderbar arbeiten. Die passen dann auch wunderbar zu der Denkweise, wenn man sagt, die kommen direkt nach dem Playtest oder nach der Playtest-Session. Vielleicht sind das auch mehrere Fragebögen für eine Playtest-Serie, kann ja auch sein. Und dann möchte man damit sehen, wie so der Spieler sich mit der Zeit entwickelt, was ja auch sehr spannend ist. Wird das Reasoning besser oder verändert sich so, wie man möchte? Gerade das, was du genannt hattest, mit erstmal geht, geht man so, wie hattest du es genannt, naiv ins Spiel rein.

Leo:
[1:27:34] Und später nach zwei, drei Iterationen hat man schon eine ganz andere Herangehensweise. Und das sind ja auch Metriken, die man zum Beispiel über Fragebögen ganz gut rauskriegt.

Playtester sein: Was bringt das mit sich?

Jessica:
[1:27:44] Ja, voll. Ja, Leo, wir biegen so langsam auf die Zielgerade ein. Das Ziel ist schon mal in Sicht, aber davor habe ich noch eine andere Frage an dich, die jetzt auch immer wieder schon Thema war, hier und da so ein bisschen reingekommen ist. Ein Playtester sein? Was bringt das eigentlich mit sich? Also wie wird man Playtester? Was gibt es da für Modelle? Du hast gerade vorhin auch schon gesagt, klar, es gibt die professionellen QAler, also Quality Assessment Menschen und es gibt die Community Playtester und ja, also es gibt ja so viele Modelle. Kannst du uns da nochmal mitnehmen, was es da eigentlich gibt und worauf man da vielleicht auch achten muss.

Leo:
[1:28:34] Ich würde es in grob zwei Hälften sagen, Die eine Hälfte ist das Professionelle, was im Normalfall super strukturiert ist, wo man sich im Normalfall auch darauf bewirbt, wo dann vielleicht sogar geschaut wird, was hast du schon mal gespielt oder was für Spielgenres spielst du gerne, damit man weiß, derjenige interessiert sich auch wirklich dafür. Und dann gibt es diesen großen Indie-Bereich, wo der allerbeste Fall ist, der Entwickler schmeißt in Anführungszeichen mal kurz ein Bild in den Discord, guckt doch da mal drüber oder rekrutiert sich aufgrund von einem Mini-Forms ein paar Leute und lässt die dann testen. Heißt, auch da muss ich dann natürlich sehr wieder drauf achten, hatten wir ja ganz am Anfang schon, dass ich sage, das ist ein Hobby und das hat sehr starke Limits und was will ich denn überhaupt wirklich testen? Damit meine ich jetzt nicht die Spiele, die ich selber spielen will oder Playtests, wo ich einfach reingehe, weil ich da Bock drauf hab. Die sehe ich dann nochmal als was anderes an, sondern wirklich die Playtests, wo man dann explizit mit den Devs testet.

Jessica:
[1:29:50] Das ist, glaube ich, schon mal eine ganz wichtige Unterscheidung, die du da machst und ich kann mir vorstellen, also gerade wenn es dann auch um das Thema geht, das wird vergütet in irgendeiner Form. Ja, das wird es ja in der Regel wahrscheinlich nicht, wenn die Devs, wie du gerade das Beispiel nennst, ein Bild mal in den Discord werfen und um, Rückmeldung bitten. Sobald Geld ins Spiel kommt, ist das ja entweder eine Nebeneinnahme oder vielleicht sogar was, was ich hauptberuflich mache oder versuche mich damit über Wasser zu halten. Kann ich gar nicht gut einschätzen, wie gut man davon leben kann. Ich fantasiere nicht so gut. Und da sind ja dann sicher auch steuerliche Fragen relevant, gerade auch wenn es nebenberuflich ist und ich quasi einen Hauptberuf habe, dann muss ich ja auch melden dem Arbeitgeber und dann gibt es so Grenzen finanziell. Ja, wir wollen jetzt hier keine steuerliche Beratung machen an der Stelle, das können wir gar nicht leisten. Aber sowas muss man ja auch im Hinterkopf haben, oder?

Leo:
[1:30:57] Für mich sind zwei Dinge wichtig. Das eine ist erstmal der Punkt Freiwilligkeit. Heißt, für mich muss ein Playtest, wenn er als Hobby zählt, komplett freiwillig sein. Ich habe keine Verpflichtungen und er muss auch jederzeit sofort abbrechbar sein. Wenn ich sage, das wird zu viel oder das zieht mich zu sehr in den Sog rein, könnte ja theoretisch auch passieren, dass ich sage, ich fange an, richtig tief zu testen, weil, keine Ahnung, das Spiel mir so gut gefällt, dass ich da in diesen Sog reingesogen werde, möchte ich jederzeit ohne eine Strafe oder irgendwie Konsequenzen den Test abbrechen können, weil ich sage, das ist ein Hobby. Zweiter Punkt, den du angesprochen hast, ist natürlich auch relevant. Ich gehe jetzt auch nur sehr oberflächlich darauf ein, weil wir machen keine Beratung, was da geht und was nicht geht. Ich kann sagen, man muss sehr auf Dinge aufpassen und es kann steuerlich relevant sein, je nach Umfang und Art der Vergütung.

Jessica:
[1:31:58] Und was wir ja auch jetzt schon mehrfach zum Thema hatten, spielte ja sicher auch eine Rolle. Also einerseits... Macht man das gerade, so wie ich dich auch verstehe, einfach auch, weil es Spaß macht als Hobby, weil es auch sehr bereichernd ist, man nochmal ganz anders auf so ein Spiel schaut und in Prozesse mit eingebunden ist, sieht, wie sich so ein Spiel entwickelt und da so sein Schärflein irgendwie zu beitragen kann, mit Devs nochmal ganz anders in Kontakt kommen kann, wenn das mit dem Dialog funktioniert. Das hattest du ja schon gesagt, ist leider nicht immer der Fall, dass da dann wirklich auch eine Diskussion vielleicht entsteht. Aber ja, wenn solche Sachen passieren, dann ist es ja auch alles ziemlich schön und cool. Aber es bringt ja auch... Gewisse Pflichten mit sich. Magst du da mal noch so ein bisschen, ja, so was wie Verschwiegenheit und so weiter. Ich lasse dir mal hier das Feld.

Leo:
[1:33:05] Ja, ist auch wieder ein sehr kompliziertes Feld, weil man muss sich sehr bewusst sein, was man da gerade tut. Einerseits ist man sicherlich neugierig auf ein bestimmtes Spiel, vielleicht möchte der eine oder andere Tester später auch hingehen. Boah, ich habe das getestet, das ist jetzt ultra toll und das wird der nächste Hit. Und dann komme ich und sage, oder spätestens der Dev, der kommt und sagt, überleg mal, du hast da ein Non-Disclosure Agreement, also eine NDA gekriegt. Die dann im Normalfall sagen kann, du sprichst mit niemandem darüber, du wirst bis in drei Jahren da auch niemals darüber sprechen, dass du getestet hast und du kannst zwar neugierig sein, aber das bleibt in einem absolut abgeschotteten Rahmen. Heißt, allerspätestens zu oberes Ende Indie gibt es dann wirklich Verträge, die man auch unterschreiben muss, wo man dann sich sehr committet und auch teilweise mit Strafen dahinter, wenn man denn dann auch nur irgendein Wort darüber erwähnt, gerade wenn es in frühen Verletzungen ist. Stages zum Beispiel ist, mehr Entwicklungszyklus.

Jessica:
[1:34:21] Und du hast das für dich schon ganz gut rausgearbeitet. Dann hat man ja auch so vielleicht eine Begeisterung und denkt, boah, wie cool und ich möchte, Menschen davon erzählen und ich möchte mich da auch austauschen und je nachdem, was für ein Rahmen dieses Playtesting auch stattfindet, kann man das dann eben nicht, kann sich da nicht mit anderen drüber austauschen, weil man vielleicht auch gar nicht weiß, wer die anderen Playtester sind, weil es nicht immer irgendwie ein Discord gibt oder so, wo man sich dann austauschen kann. Und dann ist man vielleicht auch über einen, wie du gerade angesprochen hast, langen Zeitraum damit alleine oder schlimmstenfalls, gerade bei diesen AAA-Produktionen gibt es ja auch immer wieder, dass man dann hört, okay, hier war ein Spiel drei Jahre lang in Entwicklung und dann haben sie es aber jetzt doch abgebrochen. Das wird niemals das Licht der Welt erblicken und niemand darf jemals darüber sprechen. Und dann, Dann bleibt man quasi für immer damit alleine. Also auch das muss man sich drüber im Klaren sein, dass sowas passieren kann. Du seufst.

Leo:
[1:35:26] Ja, richtig, weil man muss, oder das ist der Tipp, den ich Leuten geben wollen würde, die Playtesting machen. Seid euch darüber bewusst, dass es zu solchen Situationen kommt, wo ihr einen Teil sehr großen Informations-Overhead habt, wo ihr nie drüber reden dürft. Also da muss man in sich selber gehen, 100% ehrlich sein. Kann ich das? Kann ich das machen? Kann ich das nicht? Ist spätestens bei einer NDA Schluss beim Testen.

Jessica:
[1:35:55] Das führt auch so ein bisschen zu meiner letzten Frage schon. Also ja, wir haben jetzt schon so diese Spannungsfelder ein bisschen aufgemacht. Also einerseits total cool, ja, man kriegt viel mit und so. Und andererseits kann das ja dann vielleicht auch mal belastend sein, oder? Also mit sowas alleine zu sein oder auch, dass man sich vielleicht selber in eine Situation manövriert. Das hast du jetzt auch ganz kurz schon so ein bisschen gestreift, wo man vielleicht geneigt ist oder versucht, es irgendwie zu tief da einzusteigen, sich zu sehr zu committen und da dann irgendwie gar nicht so gut rauszukommen.

Leo:
[1:36:35] Ich muss mir jetzt speziell in meiner Situation absolut im Klaren sein, das ist ein Hobby, das hat Grenzen, das hat harte Grenzen und ich muss es genauso behandeln. Heißt, selbst wenn sehr viele Anfragen kämen, hätte ich die Pflicht der Wahl, würde ich es mal nennen, dass man hingeht und ich entscheiden muss, Welches Spiel davon will ich spielen und vor allen Dingen, wie viel Zeit stecke ich dann da rein, dass das auch wirklich ein Hobby bleibt. Weil wir hatten ja schon gesagt, das ist kein Nebenjob, das ist kein Hauptjob wie ein QA-User-Researcher, sondern das ist einfach, dass ich sage, ich Leo als Spieler möchte mir schöne Spiele angucken und vielleicht ist Playtesting dann eine schöne Möglichkeit dafür, das in einem noch etwas anderen Rahmen zu tun.

Leo:
[1:37:33] Allerdings hatten wir auch eben schon, ich schaue nicht mehr 100% neutral aufs Spiele, weil ich mir öfters gerne Fragen stelle, warum wurde das gemacht? Vielleicht sogar, warum gibt es diese Designentscheidung oder warum wurde das so gebaut und ist nicht aufgefallen? Heißt, du hattest sehr schön Brille genannt, die man dann automatisch aufgesetzt hat und nicht immer, aber zumindest oft gerne mal so ein bisschen mit reinscheinen sieht in die Sicht auf Dinge. Es ist halt ein interessantes Feld, ist aber auch, wie du schon gesagt hast, gleichzeitig ein Spannungsfeld.

Jessica:
[1:38:11] Ich finde, es wird sehr deutlich, dass Playtesting, was, man sehr bewusst machen sollte und wenn man diesen Weg einschlagen möchte, sich dafür interessiert, in welchem Umfang und Ausmaß auch immer, dass man sich da über Dinge bewusst sein muss, die das eben mit sich bringt und dass die einen auch verändern, dass die die Sicht auf Spiele verändern, dass das verändert, wie ich.

Jessica:
[1:38:39] Wie ich spiele, spiele schlussendlich, wie ich mich selber beobachte, dass man da ziemlich viel auch über sich selber lernt, also dass das schon auch wirklich was Bereicherndes ist, aber dass es eben auch mit einem Trade-off kommt, der einem bewusst sein sollte, wenn man da wirklich einsteigen möchte.

Zusammenfassung und Abmoderation

Jessica:
[1:38:55] Ja, Leo, ich finde, wir haben jetzt echt einen richtig großen Bogen hier geschlagen von, okay, warum macht man das überhaupt, warum playtestet man, wann playtestet man, was will man überhaupt rausfinden, was sind gute Fragen, die man stellen kann, was steht einem überhaupt zur Verfügung. Vielleicht auch an Technik, wir haben über Eye-Tracking gesprochen, über alle möglichen Formen von Logging, über Beobachtung, Befragung, Fragebögen, Dialog und so weiter. Und jetzt eben auch noch die Frage, was bedeutet es eigentlich, Playtester zu sein? Was macht das mit einem selber auch, was ja auch im Verlauf unseres Gesprächs immer wieder eingeflossen ist? Ich fand das total reichhaltig und möchte mich erstmal ganz, ganz herzlich bei dir bedanken. Hast du das Gefühl, es gibt noch irgendwas, was du den Menschen mitgeben möchtest oder irgendeinen Punkt, von dem du sagst, ah, hier einen Gedanken möchte ich zum Schluss nochmal mitgeben? Oder ist vielleicht auch schon einfach alles gesagt?

Leo:
[1:40:00] Es ist relativ alles gesagt. Die Folge war jetzt auch relativ lang. Hat sich auch für mich sehr schön angefühlt. Du hattest am Anfang gesagt, das ist mein erster Podcast. Ui, das ist toll. Absolut. Und meine letzten Worte ist, bleibt neugierig.

Jessica:
[1:40:16] Was für ein schönes Schlusswort. Neugier ist was ganz, ganz Wichtiges und Bereicherndes. Lieber Leo, ganz, ganz herzlichen Dank, dass du da warst. Und wenn ihr da draußen auch neugierig seid, wenn ihr mehr über Playtesting erfahren wollt, dann lasst uns das doch super gerne wissen. Ihr könnt uns auf allen möglichen Wegen erreichen, könnt uns sagen, was euch vielleicht ganz spezifisch noch am Playtesting interessiert und natürlich auch an der Psychologie dahinter, ob es bestimmte Bereiche gibt, die ihr besonders gerne mal beleuchtet hättet. Dann schauen wir, was wir möglich machen können, auch noch andere Perspektiven mit reinzubringen. Ihr könnt uns auf Blue Sky, auf Mastodon erreichen. Ihr könnt natürlich sehr, sehr gerne auch Teil unserer Discord-Community werden. Den Link findet ihr auf unserer Website. Kommt gerne zu uns, diskutiert mit uns. Wir haben eine wirklich tolle Community da. Auch Leo ist da und ich nehme mal an, auch ansprechbar, wenn noch eine Frage vielleicht da ist, ganz spezifisch.

Leo:
[1:41:25] Bestimmt.

Jessica:
[1:41:26] Und sehr schön, das freut mich sehr. Und ja, wenn euch der psychologische Blick auf Spielentwicklung, auf Games und Gaming interessiert, dann gibt es neben unseren inzwischen ja echte zahlreichen kostenlosen Folgen im freien Feed auch noch ein Bonusformat, auf das ich ganz kurz hinweisen möchte. Da könnt ihr uns, wenn ihr uns einmal im Monat mit einem kleinen Geldbetrag unterstützt, nicht nur hören in Sonderfolgen, in Bonusfolgen, wo wir zum Beispiel innerhalb von Sprachnachrichten oder auch kürzeren Podcast-Episoden zu mehreren euch nochmal Content liefern und ihr könnt mit uns in kleiner Runde sprechen. Auf unserem Discord einmal im Monat haben wir live eine Community-Session, wo wir mit unseren UnterstützerInnen im kleinen Rahmen plaudern über das Projekt, aber auch über alles andere. Und wenn ihr uns da unterstützt über Steady, hilft das uns einfach sehr, unsere laufenden Kosten zu decken. Und als Gegenzug haben wir diesen kleinen Tisch für euch gedeckt. Das soll es jetzt aber wirklich gewesen sein. Lieber Leo, nochmal ganz, ganz herzlichen Dank für deine Zeit und für deine super interessanten Einsichten. Und ich wiederhole dein Schlusswort gerne nochmal. Ihr da draußen, bleibt neugierig. Bis zum nächsten Mal. Tschüss.

Leo:
[1:42:50] Tschüss.

Artist:	Behind the Screens
Album:	Behind the Screens
Year:	2026
URL:	https://behind-the-screens.de

Playtesting

Automatic Shownotes

Chapters

Long Summary

Brief Summary

Tags