La cárcel está construida sobre los terrenos en los que se hallaba a principios del siglo XIX el fuerte llamado "Imperial" o "de Napoleón". Su nombre se debía a haber sido construido por las tropas de Napoleón, ocupantes de la plaza. A principios del siglo XX estos terrenos pertenecían al Ministerio de la Guerra y eran conocidos como Fuerte y Plaza de Armas del Dueso.
En 1904, el Gobierno español tuvo que buscar alojamiento para los internos de los presidios de África. Hubo varias propuestas, todas ellas rechazadas, pues ninguna provincia de la península quería recibirlos. Fueron unos meses de gran tensión política por este tema de difícil solución, hasta que en junio de 1906 el Teniente Alcalde del Ayuntamiento de Santoña, Bernardino Sancifrián, en nombre del alcalde Manuel Ramón Palmas que se encontraba ausente, sugirió al Gobierno que el traslado podía hacerse a unos terrenos que había en Santoña y que pertenecían al Ministerio de la Guerra. Dichos terrenos eran conocidos como Plaza de Armas del Dueso y estaban situados en este mismo barrio, lindando con la playa de Berria.
El Ayuntamiento aprovechaba así la ocasión de deshacerse de la vieja prisión aflictiva situada en la dársena del puerto, en pleno casco urbano, insalubre y hacinada. La desaparición de esta prisión era condición inexcusable para la conformidad municipal. Las otras dos condiciones expuestas por el Ayuntamiento fueron: construcción de una carretera que atravesara la zona de la marisma y la traída de agua potable al pueblo. Una vez terminada la construcción del nuevo penal, ninguna de las tres propuestas firmadas y ratificadas fueron ejecutadas.
El 15 de febrero de 1907, el Ministerio de Gracia y Justicia junto con el Ministerio de la Guerra crearon una Comisión Mixta al frente de la cual estaba Ángel Rendueles, Director General de Prisiones, Rafael Salillas, Director de la Prisión Celular de Madrid, y Lorenzo de la Tejera, Comandante de Ingenieros. Esta comisión se desplazó al lugar para estudiar y decidir si el sitio era en efecto bueno para la nueva penitenciaría. El resultado de la investigación fue positivo, considerándose óptimo para instalar un penal en el que pudiera ensayarse el nuevo sistema penitenciario progresivo de Crofton. El 6 de mayo de ese mismo año se publicó un Real Decreto que suprimía los presidios africanos y creaba la Colonia Penitenciaria del Dueso en la ubicación seleccionada. El original proyecto inicial fue obra de Manuel Arroyo Hernández.
Primero se hicieron obras de rehabilitación en los edificios militares que ya existían, para alojar de manera provisional a los presos elegidos para trabajar en la construcción del nuevo edificio del penal, que empezaron a llegar en diciembre de 1907. Se aprovecharon para la edificación las piedras de la muralla que tenía la ciudad y que formaba parte del sistema defensivo junto con los fuertes de San Martín y San Carlos.
