Лудвигова наклоност Вагнеру је имала своје противнике од самог старта. Вагнер је имао са тачке гледишта конзервативне баварске политичке елите веома контроверзну, револуционарну прошлост. Вагнеров екстравагантан начин живота је додатно продубио лоше односе између њега и баварских политичара. Када се десила афера са Козимом многи су одахнули јер се чинило да се млади краљ „охладио“ од композитора.
На њихов ужас односи су обновљени релативно брзо, а млади краљ је све више запостављао државничке обавезе(које су, истини за вољу, биле све мање јер је Краљевина Баварска у међувремену постала део Немачке царевине) да би био у Вагнеровом друштву. Финансирање Вагнерових подухвата не само да је обновљено већ је добило и нову димензију. Краљ је још 1868 у част свог омиљеног композитора наредио да се изгради замак Нојшванштајн који ће изнутра бити украшен мотивима из Вагнерових дела. Изградња се, међутим, одужила и замак је завршен тек 1886., три године након Вагнерове смрти. Вагнер стога никада у њега није крочио.
Краљ Лудвиг се све више повлачио из јавности након Вагнерове смрти. То, као и све већи трошкови изградње Нојшванштајна и других здања, су све више антагонизирали баварске политичке кругове. Ситуација је кулминирала у јуну 1886. када је под изговором наводне менталне неуравнотежености влада Баварске збацила Лудвига и прогласила принца Леополда за регента. Краљ је покушао да спречи овај покушај државног удара али узалуд. 13. јуна 1886., четири дана након збацивања са власти, краљ је око 6 после подне са својим доктором Гуденом отишао у шетњу поред језера Штарнберг где је био интерниран. Након што се нису вратили до сумрака, организована је потера. Њихова тела су пронађена око 11 часова увече поред обале. Званичан узрок Лудвигове смрти био је самоубиство дављењем. Званична обдукција, међутим, није открила воду у краљевим плућима. Краљев лични рибар је у писаном сведочењу откривеном тек после своје смрти тврдио да је видео како је требало да тог дана помогне Лудвигу да помогне али да је одјекнуо пуцањ и да је краљ био погођен и погинуо од метка. Обдукција није навела никакве ране од метка, међутим. Околности Лудвигове смрти су неразјашњене до данас.
Лудвиг је Баварској оставио вредну заоставштину. Његов патронат уметности(не само Вагнерове) учинио је Минхен важним културним центром. Поред овога, замкови и зграде које је градио и који су у његово време изискивали толике трошкове данас Баварској доносе велики приход од туризма. Највреднија заоставштина су, ван сваке сумње, Вагнер и Бајројт које је, као што је то сам Лудвиг лепо рекао, он сачувао за свет.
