Tıpkı rol arkadaşı Leighton Meester gibi, Taylor Momsen de ayrı bir müzik kariyerine başlamadan önce TV dizisi Gossip Girl’de aktrist olarak şöhret kazandı. 2009’da Reckless grubunu kurdu, sonradan ticari sorunlardan kaçınmak için grup ismini Pretty Reckless olarak değiştirdi. Vokalde Momsen, gitarda John Secolo, bas gitarda Matt Chiarelli ve bateride Nick Carbone olarak kadın vokalli Hole ve The Runaways gibi gruplardan ilham alarak hard rock ve post-grunge arasında denge bulmaya başladılar. Hızlı çalıştılar, birkaç ay sonra the Veronicas’ grubunun Kuzey Amerika tunelerinde açılış grubu olmadan önce New York City’de birkaç konser verdiler. Turne iyi geçti ve Interscope Records grupla anlaşma imzaladı.

The Pretty Reckless 2010’da tamamen kadrosunu değiştirdi, Momsen vokale devam ederken gitarist Ben Philips, bas gitarist Mark Damon ve baterist Jamie Perkins önceki grup arkadaşlarının yerlerine geldiler. Stüdyoda birkaç ay geçirdikten sonra grup, ilk single olan “Make Me Wanna Die” şarkılarını Kick-Ass soundtrack albümünde yayınladılar. Bu şarkının da yer aldığı EP’leri “The Pretty Reckless” 22 Haziran’da yayınlandı.