Po obsazení Československa Hitlerem si nacisté povšimli „výhod“ Malé pevnosti a zřídili zde v červnu 1940 policejní věznici. Z různých služeben gestapa sem byli posíláni čeští a moravští vlastenci, členové mnoha odbojových skupin a organizací.
Kromě našich občanů (asi 90%) zde byli vězněni i občané bývalého Sovětského svazu, Poláci, Jihoslované, Francouzi, Italové, angličtí váleční zajatci a příslušníci dalších národů. Za pět let prošlo branou Malé pevnosti na 32 000 mužů a žen.
Životní podmínky uvězněných se rok od roku zhoršovaly, vězňové byli nuceni k vysilující otrocké práci. Tzv. vnitřní komanda zajišťovala údržbu a chod věznice, obdělávání přilehlých polí a výstavbu různých objektů. Většina vězňů však pracovala mimo pevnost u různých firem v okolí a do posledních dnů války se podílela na válečné výrobě a práci pro říši.
Od roku 1943 se prováděly v Malé pevnosti i popravy na základě „Sonderbehandlung “ – bez soudního řízení. Celkem zde bylo zastřeleno více než 250 vězňů. Při poslední popravě 2.5.1945 byly zmařeny životy 51 vězňů (+1 konfident), převážně představitelů mládežnické organizace Předvoj.
Jen večer ve chvílích odpočinku se mohli vězňové povznést nad neustálé ponižování a teror ze strany dozorců. V celách, kde se utvořil ustálený a důvěryhodný kolektiv, se tajně rozvíjela politická a kulturní činnost. Besedovali zde a přednášeli umělci a nejrůznější odborníci. Na některých celách se tajně pořádaly kulturní večery, při nichž se zpívalo a recitovalo, kněží organizovali modlitby. I v nelidských podmínkách dovedli lidé umělecky tvořit; vznikala zde řada básní a jednoduchých kreseb, které mají především velkou dokumentární hodnotu. Kulturně politický život na celách a tajné spojení s venkovním světem pomáhaly vězňům Malé pevnosti překonat hrůzy tohoto nacistického perzekučního zařízení.
V Malé pevnosti byli vězněni např. představitel odbojové organizace Ústředního vedení odboje domácího doc. Vladimír Krajina, vedoucí představitelé Obrany národa gen. Hugo Vojta, gen. František Kravák, gen.Viktor Spěváček, gen. František Melichar; deportován sem byl také náčelník čs. generálního štábu gen. Ludvík Krejčí. Byli zde i představitelé Petičního výboru „Věrni zůstaneme“ prof. Vojtěch Čížek, spisovatel K.J. Beneš, redaktor Otakar Wünsch a JUDr. Milada Horáková. Za KSČ mj. Václav Sinkule, Eduard Urx, MUDr. Miloš Nedvěd, Milada Pixová a Marie Zápotocká. V době heydrichiády v roce 1942 sem byli dopraveni roudničtí studenti a také příbuzní a pomocníci atentátníků Kubiše a Valčíka, z nich 252 osob bylo popraveno v říjnu 1942 v Mauthausenu.
Z dalších vězněných to byli: reportér pražského rozhlasu František Kocourek, karikaturista František Bidlo, býv. ministr zahraničních věcí Kamil Krofta (univerzitní profesor, historik), prof. Karel Štipl.
Malá pevnost měla charakter průchozí věznice, odkud byli vězni posíláni po určité době před soud nebo do koncentračních táborů. Přímo zde zahynulo v důsledku hladu, týrání a nedostatečné lékařské péče a hygieny 2 600 vězňů, další tisíce jich zahynuly po deportaci z Terezína.