Scrum Retrospectieve Methode: 200% succesvoller door psychologie
Luitenant John Kelly geconcentreerd. Hij was de leider van een team van 5 luitenants van de Amerikaanse marine die maar één taak hadden: zo snel mogelijk bepalen of omliggende oorlogsschepen vredelievend of vijandig tegenover hen stonden. De tijd drong.
Maar luitenant Kelly was ontspannen, want hij had iets geleerd in een twee uur durende training vooraf. Een Scrum retrospectieve methode die ertoe leidde dat zijn groep een uitstekend resultaat behaalde.
Maak je geen zorgen: wat hij heeft geleerd is niet alleen toepasbaar in het leger, maar ook in jouw team. Omdat het speciaal is ontwikkeld voor teams in onze VUCA wereld ontwikkeld.
Voordat we verder gaan, een snelle aanbeveling: als je je retros in een paar klikken naar een hoger niveau wilt tillen, klik dan op de volgende link en bekijk onze Retro Tool Echometer.
Een Scrum Retrospectieve Methode uit de Wetenschap
De taak die luitenant Kelly beschreef was het laatste deel van een teammethodiektraining in oorlogsvoering overzee. Het bereidde de deelnemers voor op hun opdracht als leiders van een NAVY-schip.
13 teams namen deel aan de teamtraining. Deze maakten op hun beurt deel uit van een wetenschappelijk experiment (Smith-Jentsch, Cannon-Bowers, Tannenbaum & Salas, 2008). Voor de taak waren ze dus willekeurig verdeeld in een experimentele groep (7 teams) en een controlegroep (6 teams).
De controlegroep werd op de klassieke manier voorbereid op de taak. En de experimentele groep kreeg een licht aangepaste training (1).
Deze licht aangepaste training zorgde ervoor dat de experimentele groep presteerde als een professional onder beginners in vergelijking met de controlegroep. De prestatieresultaten op een Schaal van 1 (slecht) tot 5 (goed).
Wat voor soort training leidt tot zo’n verschil?
2,17
Gemiddelde waarde van de prestaties in de controlegroep
4,57
Gemiddelde waarde van de prestaties in de experimentele groep
De kracht van een goede Scrum retrospective
Er was één variabele, een enkel verschil in de getrainde methode. Dit was het verschil tussen de experimentele groep en de controlegroep. Om dit verschil te begrijpen, kijken we naar de hele training.
Ter voorbereiding op bovenstaande opdracht deden beide groepen twee oefeningen. Na deze oefeningen reflecteerden beide groepen erop.
En specifiek over wat er goed en slecht ging tijdens deze oefeningen. Om hun teamwerk te verbeteren (Smith-Jentsch, Cannon-Bowers, Tannenbaum & Salas, 2008).
Deze reflectie achteraf heeft in de academische wereld ook andere namen: “team debrief”, “after action review” of “team guided self-correction” (Salas, Nichols & Driskell, 2007)…
…of synoniem in de praktijk van agile werken ‘Retrospective’ (de afsluiting van de sprint na Scrum).
Zowel de controlegroep als de experimentele groep voerden dus een terugblik uit. Deze terugblikken werden echter heel verschillend uitgevoerd in de twee groepen.
De controlegroep voerde een quasi klassieke retrospectieve uit. De experimentele groep voerde echter een retrospectieve uit met een licht aangepaste methode. Laten we dit type methode nitro-retro noemen.
Dit brengt ons bij het verschil tussen de twee groepen. De cruciale variabele, het geheime ingrediënt, het toverwoord binnen Nitro-Retro is het “gedeelde mentale model” van het team.
Dit is precies waar je aan moet werken als agile coach, scrum master en product owner. Of beter gezegd, dat is wat goede agile coaching en agile teamontwikkeling maakt. En het maakt niet uit of je werkt volgens Lean Opstarten of in de Veilig kader werkt.
Wanneer Scrum retrospectives werken - de geheime methode
Wat is een mentaal model? De theorie erachter, gebaseerd op bevindingen uit de cognitieve wetenschap, sociale psychologie en antropologie: Mensen nemen de werkelijkheid, externe stimuli, waar door middel van interne, cognitieve “mentale modellen” (ook wel “frames” of schema’s genoemd); Lee, Johnson, Lee, O’Connor & Khalil, 2004).
We hebben voor alles een mentaal model. Van “hoe je je gedraagt in een Chinees restaurant” tot “wat goed projectmanagement is” tot “hoe je toast maakt”.
Tom Wujec is bijvoorbeeld de auteur van vier bestsellers over creatief denken en ontwerptools. Hij begint zijn trainingen vaak met een uitleg over wat mentale modellen zijn.
Hiervoor vraagt hij de deelnemers het volgende te doen: Teken hoe je toast maakt. Dit zal resulteren in tekeningen zoals de volgende. Drie mensen met totaal verschillende mentale modellen (voor de Bron):



Dus zo zien voorbeeldige mentale exemplaren van mensen eruit over hoe je toast maakt. Meer voorbeelden en de Ted Talk hierover kun je vinden op www.drawtoast.com.
Waarom doet Tom Wujec dit? Waar zijn mentale modellen goed voor, of wat heeft dat te maken met succesvol retrospectief en goed teamwerk?
Ten eerste: ook voor succesvolle teamarbeid heeft iedereen een mentaal model. De minste mensen, laat staan teams, zijn zich ervan bewust dat ze volgens een mentaal model voor ‘teamprocessen’ werken. Nog minder mensen zijn zich ervan bewust dat dit mentale model onze communicatie en ons gedrag in belangrijke mate stuurt.
Ten tweede, en hier komt nog een cruciale tip: teamwerk werkt beter,
hoe beter een mentaal model overeenkomt met de werkelijkheid en
- hoe meer het mentale model van de teamleden met betrekking tot succesvol teamwerk op elkaar lijkt (Mathieu, Heffner, Goodwin, Cannon-Bowers & Salas, 2005)
En het is precies dit inzicht dat gebruikt kan worden voor succesvolle, goede retrospectives aan het einde van de laatste sprint. Laten we terugkomen op luitenant Kelly.
Een voorbeeldig mentaal model
Luitenant Kelly had een training gevolgd. Dit leerde hem het belang van mentale modellen. Hij maakte ook kennis met een mentaal model voor succesvol teamwerk in een militaire context.
Dit model werd aangevuld met tips voor de implementatie ervan - in de vorm van gedragsankers.2
Het zorgde als het ware voor het “juiste” mentale teamwork model. En dit was voor de taken die de teams tijdens de training uitvoerden.
En last but not least kreeg luitenant Kelly de instructie en training om dit model te gebruiken als basis voor reflectie in zijn team retrospectives. Om dit model te gebruiken als basis voor reflectie in zijn team retrospectives.
Het model bestaat uit vier dimensies met 11 gedragsankers. Het ziet er als volgt uit (zie voetnoot voor meer info3):
-
Uitwisseling van informatie
- Informatie zoeken uit alle beschikbare bronnen
- Informatie doorgeven aan de juiste teamleden
- ’Big Picture’-updates verstrekken
-
Communicatie
- Gebruik de juiste terminologie
- Zorg voor volledige interne en externe rapporten
- Minimaliseer onnodige communicatie
- Duidelijke en goed hoorbare communicatie
-
Ondersteunend gedrag (back-up)
- Fouten van andere teamleden corrigeren
- Ondersteuning wordt actief gevraagd en geboden wanneer nodig
-
Teaminitiatief/Leiderschap
- Begeleiding en suggesties geven voor wederzijdse verbetering
- Duidelijke prioriteiten stellen op team- en individueel niveau
In de controlegroep vonden dus de ‘klassieke’ agile retrospectieven plaats zoals aan het einde van een Scrum-sprint. Als verloop werden chronologisch de gebeurtenissen besproken die tijdens de oefening plaatsvonden.4
De algemene vraag was: Wat ging er goed? En wat zou de volgende keer beter kunnen gaan?
Dienovereenkomstig werden taken en onderwerpen besproken in de volgorde waarin ze in de oefeningen voorkwamen. Maar continue verbetering gaat nog beter.
De basis voor de magische Scrum retrospectieve methode
De retrospectieven van luitenant Kelly (quasi de Scrum Master van de groep) en de rest van de experimentele groep hadden daarentegen geen chronologische volgorde.
Ze werden gemodereerd of gestructureerd volgens het eerder getrainde model. (Dit sluit natuurlijk niet uit dat er geen rekening werd gehouden met de klassieke vijf fasen van een retro).
Hier werd bevorderlijk of minder bevorderlijk gedrag binnen de vier dimensies na elkaar weergegeven. Dit heeft de twee hierboven beschreven voordelen, die hopelijk alle Scrum Masters snel zullen kennen:
- Het leidde er ten eerste toe dat het gedeelde mentale model van het team met betrekking tot teamwerk zich aanpaste. Iedereen had een zeer vergelijkbaar idee van hoe succesvolle teamarbeid functioneert. Stel je voor dat je een teamlid na de teamtraining had gevraagd: ‘Moet je liever zoveel mogelijk communiceren, of proberen onnodige communicatie te vermijden? En zijn algemene ‘big picture’-updates onnodig of nuttig?‘
Elk teamlid zou hetzelfde, duidelijke antwoord hebben gehad. Voor de training zou het antwoord waarschijnlijk niet zo duidelijk zijn geweest. - Ten tweede leidde dit ertoe dat iedereen in het team niet alleen hetzelfde antwoord zou geven. Maar ook het juiste. Het model werd al eerder via verschillende studies heen ontwikkeld en gevalideerd.
Hierdoor kon het team erop vertrouwen dat het model relatief nauwkeurig het gedrag van een eliteteam weergaf (Mathieu, Heffner, Goodwin, Cannon-Bowers & Salas, 2005).
Een voorbeeld uit de start-up wereld
Nog een eenvoudig voorbeeld: Ben Horowitz is de oprichter van Andreessen Horowitz, een van de meest succesvolle durfkapitalisten in Silicon Valley.
Het viel hem op dat de producteigenaren in zijn eerste bedrijf Loudcloud heel verschillende prestaties lieten zien (Horowitz & Kenerly, 2014). Dus schreef hij een eenvoudige factsheet. Over wat een uitstekende manager maakt.
Je zou ook kunnen zeggen: Hij heeft zijn mentale model voor een “uitstekende manager” doorgegeven. Inclusief het benoemen van concreet gedrag. Bijvoorbeeld: “Een excellente manager kent elke concurrent”. Of: “Een excellente manager heeft elke week een 1:1 met zijn teamleden”.
Dit leidde tot een significante toename in de prestaties van de managers (Horowitz & Kenerly, 2014). Door middel van een eenvoudige tip kan een Aanmoedigenof een “afstemming” van het mentale model.
Een gelijkwaardige afstemming van het mentale model op de vraag “wat maakt goed projectmanagement” zal waarschijnlijk vergelijkbare effecten hebben in de relevante omgeving.
Ook een Kanban-bord (een andere aanbevolen methode) leidt tot een afstemming van het mentale model met betrekking tot bestaande taken en hun prioriteit.
De volgende grafiek (na Rudolph, Simon, Dufresne & Raemer, 2006) illustreert opnieuw het beschreven mechanisme van overeenkomstige, goede retrospectieven:
Mentale modellen zijn onzichtbaar maar afleidbaar. Ze zitten in de hoofden van de teamleden en Scrum Masters. Ze beïnvloeden het gedrag of de “acties” en de maatregelen. Dat laatste beïnvloedt de resultaten. Die achteraf invloed hebben op het perspectief of de mentale modellen van de teamleden.
Over het algemeen weten de teamleden dus beter wat nitro-retro is, wat ze van elkaar kunnen verwachten en hoe ze moeten coördineren.
Door een passende vorm van retrospectief worden kennislacunes en misverstanden geminimaliseerd. In sommige gevallen worden conflicten voorkomen.
En dat komt omdat mensen nu echt over hetzelfde praten. En uiteraard verbetert dit de samenwerking aanzienlijk (Smith-Jentsch, Cannon-Bowers, Tannenbaum & Salas, 2008).
Wat hebben we in de praktijk aan deze kennis? Zodat het ook een positieve invloed heeft op je releases, etc.?
Hoe Nitro-Retro - de Scrum methode als workshop
Nou, een kleine tip: Als je over het algemeen nog geen retrospectives doet (in het Scrum Sprint formaat of volgens een andere methode), introduceer ze dan. Nu.
Want de resultaten in de bovengenoemde studie zijn geen uitzondering. (En geen zorgen - ook leidinggevenden kunnen retro’s modereren).
Een brede metastudie heeft het volgende aangetoond: Retrospectives leiden (of synoniem volgens de wetenschappelijke definitie “team debriefs”) teams tot 25% betere prestaties.
En dat terwijl teams er gemiddeld maar 18 minuten in investeerden (Tannenbaum & Cerasoli, 2013).
Goede retrospectives helpen vooral met één ding: inzichten krijgen.
Niet zonder reden is ‘inzichten verwerven’ een van de vijf fases van een retrospectief in de Scrum Methodiek (of beter gezegd in het Scrum Framework).
Goede retrospectives nog beter maken
Als je een agile coach, scrum master of product owner bent, leef je waarschijnlijk al met agile methoden. En je hebt al een retrospective uitgevoerd in de laatste sprint.
Ongeacht dat kunt u nu toekomstige retrospectieven op basis van de toegelichte informatie verbeteren. (Vanuit mijn oogpunt zou deze kennis eigenlijk ook direct in de Scrum Master certificering geïntegreerd moeten worden…)
Hiervoor hebben we een workshop ontwikkeld die je met je team kunt uitvoeren, bijvoorbeeld als onderdeel van een retro.
Dit zijn de stappen. Je moet er 1 tot 2,5 uur voor inplannen, afhankelijk van de grootte van het team. (Vergeet niet dat de retrospectieve nog steeds een beschermde ruimte is):
-
Geheel in de geest van de 5 fasen van een RetroBegin met de “Set the stage”. (Je kunt algemene inspiratie hiervoor en voor de rest van het proces bijvoorbeeld vinden op Retromat).
-
Ga verder met de “Teken toast” oefening (zie Ted-Talk): Vertel je teamleden, zonder uitgebreide instructies, dat ieder van hen moet noteren hoe je toast maakt vanuit zijn/haar gezichtspunt.
Je hebt hier 2-3 minuten de tijd voor. Tip: Het hoeft natuurlijk niet altijd het toastvoorbeeld te zijn. Varieer zo nodig met de opdracht om spannende nieuwe tekeningen te genereren. -
Laat iedereen zijn/haar tekening één keer presenteren. Bespreek de overeenkomsten en verschillen in jullie ‘definities’ van het mentale model. Heeft iemand mensen getekend? Een hand? Heeft iedereen een broodrooster? Hebben sommigen extra producten getekend?
-
Faciliteer verder door het team uit te leggen wat mentale modellen zijn. Sommige mensen denken bijvoorbeeld meteen aan handen als ze denken aan “toast maken”.
Ingenieurs kunnen denken aan de technologie erachter. Bekijk eventueel samen de hele Ted-video voor deze stap. -
Leg het team uit dat een gedeeld mentaal model van het werk het teamwerk enorm kan vergemakkelijken. Maar om dit te laten gebeuren, moet het de werkelijkheid zo goed mogelijk weerspiegelen (Mathieu, Heffner, Goodwin, Cannon-Bowers & Salas, 2005).
Om als team een zo nauwkeurig mogelijk mentaal model te ontwikkelen, moet iedereen een bijdrage leveren. Op dit moment heeft iedereen waarschijnlijk nog een ander beeld.
Om het hier begrijpelijker te maken, kun je het volgende gebruiken Grafisch laten zien. Het laat zien hoe 6 blind wetenschappers, afhankelijk van het perspectief, een olifant zouden beschrijven. Equivalent heeft iedereen in het team een ander perspectief op het werk - en niemand zit fout. -
In de volgende stap vraag je om het volgende: iedereen legt (eventueel op typische Kanban-kaartjes) zijn/haar mentale model vast over uit welke processen jullie teamwerk bestaat. Aanvullend kan iedereen ook gedragingen of kenmerken vastleggen die succesvolle processen vanuit zijn/haar oogpunt kenmerken.5
-
Nu heeft het team de tijd om de geschreven kaarten te ordenen tot een model of een zinvolle structuur.
Volgens Ted Talk werkt dit soms net zo goed of zelfs efficiënter als er geen gepraat aan te pas komt.
Peter M. Senge vermoedelijk hoofdverantwoordelijk is voor de introductie van het begrip ‘lerende organisatie’. Hij drukt deze belangrijke stap uit in een Youtube-video over het onderwerp “Systeemdenken” ziet er als volgt uit:“Als ik niet bereid ben om mijn eigen mentale modellen in vraag te stellen, dan kan ik het vergeten om verborgen potentieel te ontdekken. Je moet verschillende mensen, uit verschillende gezichtshoeken, die verschillende delen van het systeem zien, samenbrengen. En gezamenlijk iets zien dat individueel geen van hen ziet.”
-
Op een gegeven moment wordt duidelijk dat het team redelijk eensgezind is. Dan kan iedereen weer gaan zitten en over de ervaring praten.
Goed faciliteren betekent alle teamleden er zo vaak mogelijk bij betrekken. De volgende vragen kunnen een goede facilitering ondersteunen die reflectie bevordert:- Welk deel van het mentale model was te verwachten?
- Welk deel van het mentale model verrast je?
- Waar denk je dat er nog ruimte is voor verbetering in het mentale model?
- Welk positief gedrag kun je eventueel toevoegen?
- Aan welk deel van het mentale model had iemand van jullie nog niet eerder gedacht?
- Hoe voelde het om het mentale model in stilte te ontwikkelen?
- Past het mentale model bij de doelen en waarden van je team?
- Welke onderdelen van het mentale model domineren je processen? Overheersen ze terecht?
- Met welke onderdelen van het mentale model moet je vaker rekening houden?
- Waar zit er misschien een knelpunt of een bijzonder kritische stelschroef in dit model?
-
Na deze reflectie moet er overeenstemming worden bereikt over een model. En er moet een conclusie worden gevonden volgens de vijf fasen van een retro. (Voor voorbeelden hiervan en voor het algemene proces, zie Retromat). In de volgende stap kan het ontwikkelde model regelmatig worden opgeroepen in retrospectives. Het kan en moet dienen als basis voor je reflectie.
Tot zover een gedeeld mentaal model van je processen. Misschien ga je de workshop (eventueel in aangepaste vorm) uitproberen in de volgende sprint.
We zijn benieuwd naar je ervaringen met het workshopconcept. Misschien iets anders dan wat je kent uit de Scrum Guides. We staan open voor tips om het te verbeteren!
Ik hoop dat de beschrijving je ten minste één nieuw idee heeft gegeven, misschien zelfs maatregelen voor verbetering. (Vergeet in het laatste geval niet om je aan de afgesproken maatregelen te houden).
Was agile teamontwikkeling maar zo eenvoudig als Robotische procesautomatisering zou zijn…
Succesvol teamwerk
Naast dit teamwerkmodel is er natuurlijk ook een model voor wat succesvol teamwerk is op psychologisch niveau.
Voor een van de relevante factoren, zie bijvoorbeeld onze Blogpost over psychologische veiligheid .
Wie gaat er dan voor zorgen dat het goed gaat tussen de mensen in het team?
Hoe ziet een “correct” mentaal model voor succesvol teamwerk eruit op psychologisch niveau? Hier zijn we aangekomen bij de taak van de Echometer software of onze tool.
Metastudies suggereren dat er psychologische variabelen zijn die algemene voorwaarden zijn voor gemotiveerde teams. Of ze nu bestaan uit projectmanagers, gespecialiseerde juristen of softwareontwikkelaars.
Wij helpen je om deze universele factoren te integreren in je mentale model voor succesvol teamwerk.
Om te reflecteren op de factoren en jezelf zo voortdurend te ontwikkelen. Met andere woorden, om het teamwerk te optimaliseren met behulp van echt succesvolle retrospectives. (Ontwerpend denken en Lego Serieus Spelen kunnen we trouwens zeker aanraden).
: Voortdurende verbetering
Als jullie zin hebben om jullie teamwerk met Echometer-retrospectieven te verbeteren - in een continu verbetering wilt komen - neemt contact met ons op met plezier.
Help ons anders graag daarbij dat in elke Scrum Master-certificering ook ‘mentale modellen’ worden behandeld. En deel dit bericht met jullie collega’s. #Dankjewel :)
Trouwens, maak je geen zorgen. Eén ding staat niet ter discussie: Dit zal niet ons laatste artikel zijn over het onderwerp retrospectieve methoden!
Misschien wil je je retro bijvoorbeeld ontwerpen met behulp van speelse methoden. Dan zijn de drie methoden uit dit artikel liever jouw smaak.
En als je geïnteresseerd bent in wat het leiderschapsteam zou moeten doen bij agile transformatie, kijk dan eens naar hier onze tips.
Voetnoten
1) Voor de statistici: De resultaten van een t-test toonden aan dat dit verschil statistisch significant is (t (11) = -6,72, p < .01; eenzijdig). Met een zeer hoge effectgrootte van d = 4,1 (!).
2) Dit model is eerder ontwikkeld in verschillende onderzoeken (bijv. Johnston, Smith-Jentsch, & Cannon-Bowers, 1997; Smith-Jentsch, Johnston, & Payne, 1998).
3) In het kader van het TADMUS-programma - Tactical Decision Making Under Stress - ontwikkelden verschillende onderzoekers een model. Het zou als valide, betrouwbaar model de basis vormen voor later onderzoek in het militaire domein over het thema teamwork.
Binnen verschillende onderzoeken (zie voor een overzicht Ramachandran, Jensen & Salas, 2008), ontstond hiervoor een model. Het werd de Anti-Air Teamwork Observation Measure (ATOM) genoemd. Het werd vervolgens gebruikt door de NAVY en de Mariniers, bijvoorbeeld als basis voor teamtraining tijdens 9/11.
4) Ik wil hier niet de indruk wekken dat alle retro’s chronologisch zijn. Met een klassieke retro wordt een ‘cliché’-retro bedoeld, die de 5 fases van een retro in acht neemt en de genoemde ‘cliché’-vragen stelt.
5) Dit zou ook mogelijk zijn met andere vragen. Je zou ook kunnen vragen hoe jouw team waarde creëert vanuit het perspectief van elk individueel teamlid.
Of waar je team zich bevindt in de waardeketen. Maar deze vraag zou natuurlijk minder geschikt zijn als basis voor de doorlopende retrospectives in de Scrum Sprint die daarna plaatsvinden.
Bronnen
- Christian, M. S., & Slaughter, J. E. (2007, augustus). Arbeidsbetrokkenheid: een meta-analytisch overzicht en aanwijzingen voor onderzoek op een opkomend gebied. In Academy of Management Proceedings (Vol. 2007, No. 1, pp. 1-6). Briarcliff Manor, NY 10510: Academie van Management.
- Horowitz, B., & Kenerly, K. (2014). Het moeilijke van moeilijke dingen: een bedrijf opbouwen als er geen gemakkelijke antwoorden zijn. New York, NY: Harper Business.
- Johnston, J.H., Smith -Jentsch, K.A., & Cannon - Bowers, J.A. (1997). Performance measurement tools for enhancing team decision-making training. In M. T. Brannick, Salas, E., & Prince, C. (Eds.), Team performance assessment and measurement: Theory, methods, and applications (pp. 311-327). Mahwah, NJ: Erlbaum.
- Lee, M., Johnson, T., Lee, Y., O’Connor, D., & Khalil, M. (2004). The Conceptual Framework of Factors Affecting Shared Mental Model. Association for Educational Communications and Technology.
- Mathieu, J. E., Heffner, T. S., Goodwin, G. F., Cannon‐Bowers, J. A., & Salas, E. (2005). Scaling the quality of teammates’ mental models: Equifinality and normative comparisons. Journal of Organizational Behavior: The International Journal of Industrial, Occupational and Organizational Psychology and Behavior, 26(1), 37-56.
- Ramachandran, S., Jensen, R., & Salas, E. (2008). Teamprestatiemodellen ontwikkelen: van abstract naar concreet. Interservice/Industrie Training, Simulatie en Onderwijs Conferentie (I/ITSEC) 2008.
- Rudolph, J. W., Simon, R., Dufresne, R. L., & Raemer, D. B. (2006). There’s no such thing as “nonjudgmental” debriefing: a theory and method for debriefing with good judgment. Simulation in Healthcare, 1(1), 49-55.
- Salas, E., Nichols, D. R., & Driskell, J. E. (2007). Het testen van drie teamtrainingsstrategieën in intacte teams: Een meta-analyse. Small Group Research, 38(4), 471-488.
- Smith-Jentsch, K. A., Cannon-Bowers, J. A., Tannenbaum, S. I., & Salas, E. (2008). Begeleide zelfcorrectie in teams: Effecten op mentale modellen, processen en effectiviteit van teams. Small Group Research, 39(3), 303-327.
- Smith-Jentsch, K. A., Johnston, J.A., & Payne, S.C. (1998). Het meten van team-gerelateerde expertise in complexe omgevingen. In J. A. Cannon-Bowers, and Salas, E. (Ed.), Making decisions under stress: Implications for individual and team training (pp. 61-87). Washington, DC: American Psychological Association.
- Tannenbaum, S. I., & Cerasoli, C. P. (2013). Verbeteren team- en individuele debriefings de prestaties? Een meta-analyse. Human factors, 55(1), 231-245.