Domanda di colloquio di MX

How would you build a web crawler?