Era el padre del exministro de Salud y actual rector de la Universidad de los Andes, Alejandro Gaviria, y del periodista, Pascual Gaviria.