Al in 1894 is begonnen met het grondwerk voor de Duivenpoort. Deze poort werd ook wel Middenpoort, Tusschenpoort of Tours entre les deux Cours genoemd.
Als u verder doorloopt, dan komt u vanzelf uit op het Grote Cour.
Diverse keren is het bouwwerk gestaakt en weer hervat (waarschijnlijk vanwege tegenvallende bouwwerkzaamheden aan het Châtelet en het kasteel). In 1906 kwam er een aanpast plan voor de bouw van de Duivenpoort, waardoor de poort tot aan de fundering afgebroken is. Het heeft vervolgens nog tot 1909 geduurd voordat er daadwerkelijk een begin is gemaakt met de bouw. In het ontwerp van 1906 zijn overigens nog aanpassingen doorgevoerd op het ontwerp van 1906, alsof ze nog niet genoeg bedenktijd hebben gehad! Zo zijn er duivengaten gekomen in de Noordelijke toren – vandaar ongetwijfeld de naam Duivenpoort.