Atte Kilpeläinen on opiskellut Kölnin musiikkikorkeakoulussa ja Sibelius-Akatemiassa, jossa hän suoritti diplomitutkintonsa parhain mahdollisin arvosanoin vuonna 2004. Vuonna 2006 hän liittyi jousikvartetti Meta4:n jäseneksi ja on konsertoinut kvartetin riveissä aktiivisesti kotimaassa ja ulkomailla.
Vuodesta 2005 alkaen Kilpeläinen on toiminut alttoviulun äänenjohtajana Helsingin kaupunginorkesterissa. Vierailevana äänenjohtajana hän on soittanut mm. Ruotsin radion sinfoniaorkesterissa, Australian kamariorkesterissa, Euroopan kamariorkesterissa ja Leipzigin Gewandhaus-orkesterissa. Solistina Kilpeläinen on esiintynyt muun muassa Helsingin kaupunginorkesterin, Tapiola Sinfoniettan, Kölnin kamariorkesterin sekä Oulun Sinfonian ja Kuopion kaupunginorkesterin kanssa.
Sibelius-Akatemian opettajakuntaan Kilpeläinen liittyi vuonna 2012. Lisäksi hän kuuluu Helsinki Seriös -kamarimusiikkisarjan taiteelliseen toimikuntaan.
Vuonna 2026 Kilpeläinen toimii kolmatta vuottaan Oulunsalo Soi -kamarimusiikkifestivaalin taiteellisena johtajana.