Joe a commencé sa carrière dans un théâtre à Chicago, pendant sept ans, puis a déménagé à Toronto pour aider à la création d'une troupe de théâtre.
Tout au long de sa carrière, il est apparu dans un certain nombre de rôles cultes, notamment avec celui de l'employé de la Western Union, qui délivre la lettre de Doc à Marty, en plein climax de Retour vers le futur 2.
En 1999, il rejoint le casting de "Freaks & Geeks", une série TV dramatique, dans lequel il joue le rôle de Harold Weir, père de deux adolescents.
Dès 2004, il devient membre du corps enseignant du lycée Humber d'Orangeville (Ontario).
Sa fille se prénomme Gudrun. David Flaherty, son frère, est quant à lui écrivain.
