Penjara ini memiliki masa lalu kelam karena pernah dihuni oleh lebih dari 500 perwira konfederasi yang akhirnya mati kelaparan selama perang saudara pada musim dingin 1864-1865.
Fort Pulaski dilaporkan memiliki ruangan yang pengap dan hampa udara dan mendapat julukan penjara neraka. Disana ada sebuah tangga bersejarah yang sangat kejam. Pada masa pertempuran, tentara yang terluka dibuang ditangga begitu saja sampai mati.
Kini dikabarkan arwah para prajurit tersebut menghantui tangga dengan tertatih-tatih mencoba mendaki tangga untuk kembali ke medan perang. Suasana malam hari sangat mencekap karena seringkali dijumpai penampakan hantu tentara yang terluka dengan bau darah yang amis.
^^ Jangan lupa baca juga Ada Hantu Tentara di Gedung Alamo Texas.