A primitiva cadeia de Ponte de Lima, designada como "Cadeia do Castelo" ou "Alcaidaria", funcionou num lugar próximo ao Paço do Visconde. Não resta memória da sua construção. Sabe-se apenas que o edifício foi mandado demolir pelo seu último proprietário, que o arrematou em praça.

À teoria de alguns historiadores, como Miguel Roque dos Reys Lemos, que afirmam que D. Manuel I terá mandado construir uma alta torre acastelada, para aí se instalarem todos os presos da comarca de Entre Douro e Minho, contrapõe-se a intervenção arqueológica. Esta última, pressupõe que a Torre da Cadeia é uma construção coeva da muralha que, no séc. XVI, por ordem de D. Manuel I, sofreu profundas alterações, altura em que se alteou a estrutura e se rasgaram as janelas para a adaptação do edifício a cadeia. As obras, que estariam concluídas em 1511, foram assinaladas pela introdução do escudo e da esfera armilar de D. Manuel I, numa das paredes laterais.

A partir do séc. XVII, funcionou como única prisão vila, após Viana ter passado a ser cabeça da correição e depois da primitiva cadeia do castelo ou da alcaidaria ter sido reduzida a ruínas, por desleixo dos Alcaides-Mores e por incúria do Senado.

A Lei de 1 de Julho de 1867, que regulamenta a reforma penal e das prisões estipula que:

“Haverá na cabeça de cada comarca uma cadeia para o fim indicado no artigo antecedente.

§ 1.° A despesa necessária para acomodar a cadeia já existente ao sistema de prisão individual e de separação entre os presos, ou para construir outra de novo acomodada a esse sistema, será feita á custados concelhos de que se compuser a respectiva comarca.

§ 2.° Poderá por deliberação das juntas geraes respectivas dispensar-se a construção de cadeia especial nas comarcas que forem também capitais de distrito, devendo neste caso os réus da comarca cumprir a pena nas cadeias distritais, para cuja despesa extraordinária e ordinária contribuirão os concelhos que constituírem as mencionadas comarcas, na proporção do número de celas que naquelas cadeias lhes for especialmente destinado.

Art. 54.° O cálculo e designação definitiva do número de celas que deve ter cada uma das cadeias comarcãs regular-se-á pelo que, na parte aplicável, se acha disposto nos artigos 43.°, 51.° e n.°1.° com respeito ás cadeias distritais e artigo 58.°

§ 1.° Haverá em todas as cadeias comarcãs, que tiverem mais de trinta celas, uma capella para celebração dos actos religiosos.

§ 2.° Nas que tiverem menor número de celas deverá igualmente havê-la sempre que a sua construção e sustentação se não tornem excessivamente onerosas em atenção aos poucos recursos dos respectivos concelhos.

Art. 55.° A despesa ordinária das cadeias comarcãs será feita á custa dos respectivos municípios, e é-lhe aplicável o que com respeito á das cadeias distritais fica determinado no artigo 48.° desta lei,

§ único. O que se acha disposto nos quatro primeiros números do artigo 49.° é lambem aplicável à receita das cadeias comarcãs, sendo o que faltar preenchido por uma contribuição paga pelos concelhos que com-, puserem a comarca.

Art. 56.° É extensivo às cadeias comarcas o que fica disposto para as distritais nos artigos 43.°, 44.°e 45.°

Art. 57.° Na capital de cada comarca é criada uma comissão administradora da cadeia comarcã.

§ 1.° Esta comissão será composta:

1.° Do presidente da câmara municipal, que será o presidente da comissão;

2.° Do administrador do concelho;

3.° Do provedor da misericórdia, havendo-a;

4.° Do pároco da freguesia mais populosa da cabeça do concelho;

5.° Do médico do partido da camara, ou não o tendo esta de outro medico que a mesma camara nomear, residente na cabeça do concelho;

6.° De dois cidadãos nomeados de dois em dois anos pela camara municipal de entre os quarenta maiores contribuintes.

§ 2.° Nas capitais de comarca que forem também capitais de distrito, em lugar do presidente da câmara será o vice-presidente que fará parte da comissão e a presidirá; em lugar do provedor da misericórdia será nomeado pela camara mais um cidadão d'entre os quarenta maiores contribuintes; e em lugar do pároco da freguesia mais populosa fará parte da comissão o pároco da que for segunda em população.

§ 3.° Nas comarcas de Lisboa e Porto fará parte da comissão só o administrador do bairro mais populoso.

Art. 58.É extensivo ás comissões administradoras das cadeias comarcãs, em tudo que lhes for aplicável, o que fica disposto no artigo 51 para as comissões administradoras das cadeias distritais."