Il testo descrive una conversazione enigmatica e biblica tra due figure marginali: il giullare (the joker) e il ladro (the thief): i due cercano una via d’uscita da una società corrotta e soffocante dominata da uomini d’affari. La canzone è famosa per la sua struttura narrativa circolare: la fine del testo (l’avvicinarsi dei cavalieri alla torre di guardia) rappresenta idealmente l’inizio cronologico degli eventi, lasciando l’ascoltatore in una costante tensione apocalittica.

Una sera di Gennaio 1968, mentre si trovavano ad un party a New York, Jimi Hendrix e Dave Mason (chitarrista dei Traffic) stavano commentando John Wesley Harding l’album di Bob Dylan uscito pochi giorni prima e che conteneva anche All Along The Watchtower. Nei concerti di quel periodo, Dylan riprese a suonarla in pubblico e ne faceva una versione più simile alla cover di Jimi che al suo originale: diventò così il tributo di Dylan a Jimi Hendrix, nel frattempo venuto a mancare.