A carreira de Annie começou como vocalista dos The Shirts, uma banda de punk-rock que era presença regular no CBGB, bar de Nova Iorque onde Blondie e Ramones deram os primeiros passos.

A banda abriu concertos, por exemplo, dos Talking Heads e de Patti Smith, que a incentivaram a apostar em canções originais.

A atriz de "Orange is new Black" também teve uma carreira a solo. Em 1984, o single "Hang Up the Phone" fez parte da banda sonora do filme "Parabéns a Você" e Annie foi convidada de David Letterman no "Late Night".