Er is veel inhoud die als te gewelddadig, seksueel, beledigend of anderszins wordt beschouwd om op sociale media te worden bekeken. TikTok, Instagram, Facebook, Twitter/X, ze modereren allemaal hun inhoud in verschillende mate, maar als je dacht dat er een grote computer achter zat, wil je misschien nog eens goed nadenken.
Echte mensen doorzoeken de inhoud die naar deze sites is geüpload en zorgen ervoor dat, hoewel we misschien nooit gruwelijke bezienswaardigheden zien, ze er constant dagelijks aan worden blootgesteld. De BBC sprak met de in Nairobi gevestigde moderator Mojez over de tol die het kan eisen van het leven van een moderator.
"Als je je telefoon pakt en dan naar TikTok gaat, zul je veel activiteiten zien, dansen, weet je, vrolijke dingen", zei hij. "Maar op de achtergrond was ik persoonlijk, in de honderden, gruwelijke en traumatiserende video's aan het modereren. Ik nam het op me. Laat mijn geestelijke gezondheid de klap opvangen, zodat algemene gebruikers hun activiteiten op het platform kunnen blijven uitvoeren."
Hoewel er over de hele wereld moderators zijn, is een groot deel gevestigd in Oost-Afrika, en veel moderators beweren dat het werk hun geestelijke gezondheid heeft vernietigd. Sommigen hebben de industrie volledig verlaten, terwijl anderen zich hebben verenigd om een vakbond te vormen.
AI-modellen zijn in de maak om deze moderatie uit te voeren, maar ze moeten worden getraind door mensen, die daarom nog steeds gruwelijke en beledigende inhoud zullen moeten zien. Totdat zo'n tool online ruimtes perfect kan modereren, zullen er mensen in de frontlinie staan.