Po té, co se revoluce změnila v krvavý teror, pokusil se odejít do exilu v USA, kam měl trvalé pozvání od Washingtona. 19. srpna 1792 byl však při svém tajném odchodu z Francie zadržen u belgického Rochefortu hlídkou pruské armády a předán Rakušanům. Habsburkové ho označili za spoluviníka na vyvraždění francouzské královské rodiny a tak putoval nejdříve do Lucemburku a poté do pevnostního vězení ve Weselu.

V květnu 1794 byl zadržován v polské Nyse a následně byl vsazen do pevnosti v Olomouci. V listopadu téhož roku se během vězeňské projížďky podaří La Fayettovi uprchnout. Hlídka jej však dostihne u Šternberka a znovu zadrží. Teprve po vítězství Napoleona Bonaparta a na jeho přímý rozkaz je La Fayette i se svou rodinou z olomouckého vězení propuštěn. La Fayette odmítá všechny funkce, které mu Napoleon nabízí a stahuje se do soukromí.

La Fayette je národním hrdinou ve Francii a ve Spojených státech amerických.