Üç yanı deniz olan ve tarihî Sinop Kalesi duvarlarının içerisinde yer alan cezaevine ev sahipliği yapan kale yaklaşık 4000 yıl önce Gaskalılar tarafından yapılmıştır. Yunanlar, Pontus, Roma, Bizans, Selçuklu ve Osmanlılar kendi dönemlerinde kaleyi korumuş ve güçlendirmişlerdir. Kalenin cezaevi olarak kullanımına ait en eski belgeler ise 1568 yılına dayanmaktadır. Evliya Çelebi seyahatnamesinde bu zindandan şöyle bahsetmiştir;
"Büyük ve korkunç bir kaledir. 300 demir kapısı, dev gibi gardiyanları, kolları demir parmaklıklara bağlı ve her birinin bıyığından 10 adam asılır nice azılı mahkûmları vardır. Burçlarında gardiyanlar ejderha gibi dolaşır. Tanrı korusun, oradan mahkûm kaçırtmak değil, kuş bile uçurtmazlar."
İç kalenin resmi olarak zindana dönüşmesi ise 1887 yılında olmuştur. O dönem Sinop Mutasarrıfı Veysel Paşa yeni binalarla birlikte bir de hamam eklemiştir. 1939 yılında da çocuk hapishanesi olarak kullanılmak üzere bir bina daha yapılmıştır.
Sabahattin Ali, “Duvar” adlı öyküsünde Sinop Cezaevi’ni şu sözlerle anlatmıştır:
“Uzun zamanlar deniz kenarında ve surlar içindeki bir hapishanede kaldım. Kalın duvarlara vuran suların sesi taş oralarda çınlar ve uzak yolculuklara çağırırdı. Tüylerinden sular damlayarak surların arkasında yükseliveren deniz kuşları demir parmaklıklara hayretle gözlerini kırparak bakarlar ve hemen uzaklaşırlardı.”
Kırım Hanı II. Devlet Giray, Sabahattin Ali, Refik Halit Karay, Mustafa Suphi, Ahmet Bedevi Kuran, Ruhi Su, Burhan Felek, Zekeriya Sertel, Refi' Cevad Ulunay, Celal Zühtü Benneci, Hüseyin Hilmi, Osman Cemal Kaygılı, Kerim Korcan, Osman Deniz bu cezaevinde yatmış bazı isimlerdir.