La maison d'Armagnac est une des plus anciennes maisons de la ville. Elle fut construite sur l'ancien emplacement du château des comtes d'Armagnac, c'est pour cette raison qu'elle est dite « Maison d'Armagnac ». Cette demeure citadine était la possession de la famille Daulhon.

L'hôtel a été probablement construit par Hugues Daulhon, riche marchand de Rodez. En 1522, il achète une maison voisine de celle qu'il possédait déjà. On lit la date de 1531 sur une sculpture. On peut donc supposer que la maison a été construite entre 1525 et 1531.

Anne d'Aulhon, par son mariage avec noble Pierre de Bandinel, a fait entrer la maison dans cette famille dans la seconde moitié du xvie siècle. Louis de Bandinel vend la maison en 1623 au marchand Raymond Durit.

La maison est classée Monument historique en 18621.