Hay invitados que son un incordio, el refranero lo sabe bien y los compara con los albañiles, no porque los albañiles sean un incordio en sí mismos, sino porque tener obras en casa, es una lata (y un gasto de dinero al que no se ve fin, porque nunca terminan en el plazo que nos han indicado).
No se refiere aquí el refranero a cualquier invitado, se refiere por un lado a aquellos a los que damos alojamiento en nuestra casa -como los albañiles- y además nos cuestan dinero (huéspedes). Se puede invitar a alguien a pasar unos días en casa y la estancia se alarga más de lo debido, porque los invitados están cómodos, lo que puede producir cierta inquietud en quien les ha abierto las puertas de su casa. Y por otro a los invitados a un evento, porque quien invita a algo lo hace con la mejor de las intenciones y no para que le critiquen o hablen mal de él (cosa que suelen hacer muchos invitados, criticando todo, incluso al anfitrión). Son invitados no deseados.
Esos invitados incordio son los que aparecen reflejados en este refrán, aquellos que cuando se van de casa o del evento nos producen el mismo alivio que dejan los albañiles al entregar la obra, esa sensación de que nuestra casa es solo nuestra y ya está libre de personas extrañas, suciedad y polvo.