ggplot, traccia la linea tra i punti attraverso le faccette

Usando ggplot2, come posso disegnare una linea di tendenza che corre tra le faccette.

library(ggplot2) df <- data.frame(y=c(1,2,3),x=1,Set=LETTERS[1:3]) ggplot(df,aes(x,y)) + theme_bw() + theme(legend.position=c(0,1),legend.justification=c(0,1)) + geom_point(aes(fill=Set),color="black",shape=21,size=3) + facet_grid(~Set) + xlim(1,5) 

Che produce quanto segue:

Produzione

In quanto sopra, vorrei tracciare una linea tra i tre punti, spostandoci tra le faccette.