На 39-годишна възраст Джо Кларк става най-младият министър-председател на Канада през 1979 година. Фискален консерватор, Джо Кларк и неговите правителство на малцинството бяха победени след само девет месеца на власт по предложение за недоверие на бюджет за увеличение на данъците и намаляване на програмата.
След загубата на изборите през 1980 г. Джо Кларк остава лидер на опозицията. Когато Брайън Мълъри пое лидер на Прогресивната консервативна партия на Канада през 1983 г., а след това и премиер През 1984 г. министърът Джо Кларк продължава да бъде ефективен министър на външните отношения и министър на конституцията Въпроси. Джо Кларк напуска политиката през 1993 г., за да работи като международен бизнес консултант, но се завръща като лидер на Прогресивната консервативна партия от 1998 до 2003 г.
Джо Кларк започва политическата си кариера като директор на Организацията на Прогресивната консервативна партия в Алберта от 1966 до 1967 година. Той беше специален помощник на консервативния член на парламента Дейви Фултън през 1967 г. Той е изпълнителен асистент на член на консерватора в парламента Робърт Станфийлд от 1967 до 1970 година.
Джо Кларк е избран за първи път в Камарата на общините през 1972 г. Избран е за лидер на Прогресивната консервативна партия на Канада през 1976 г. и е лидер на опозицията до 1979 г. Джо Кларк бе заклет за министър-председател на Канада след общите избори през 1979 г.
Консервативното правителство е победено през 1980г. Джо Кларк отново е лидер на опозицията от 1890 до 1983 година. Джо Кларк нарече конвенция за ръководство на Прогресивната консервативна партия и загуби партийното ръководство на Брайън Мълъри през 1983 г.
В правителството на Мълъри Джо Кларк е бил министър на външните работи от 1984 до 1991 година. Той беше председател на тайния съвет и министър, отговарящ за конституционните въпроси от 1991 до 1993 година. Джо Кларк не се кандидатира на общите избори през 1993 г.
Джо Кларк се завърна като лидер на Прогресивната консервативна партия на Канада през 1998 г. Той беше преизбран в Камарата на общините през 2000 г. През 2002 г. Джо Кларк заяви, че е пренесъл Прогресивната консервативна партия, доколкото може. Оставката на Джо Кларк като лидер на Прогресивната консервативна партия беше ефективна на конвенцията за лидерство през май 2003 г.