Después de las mejores secuencias de discos (del Beggars Banquet al Exile) en la historia del rock & roll, críticamente muy aclamados, en especial el último, y con buena aceptación del público,los Stones entraron en una etapa de decadencia creativa llena de excesos propios de rock stars con su siguiente producción "Goats Head Soup", la secuela de Exile on Main Street. Con la adicción a la heroína de Keith Richards y la posición de Mick Jagger como estrella del espectáculo, la banda sólo fue salvada por hits que los ayudan a mantenerse en la cima de las listas de popularidad. Es así que en 1973, salió "Goats Head Soup", que con canciones como "Winter", "Doo Doo Doo Doo Doo (Heartbreaker)" y "Coming Down Again", llegó al´primer lugar de las listas en US y UK.
Este álbum también incluía "Angie", una de las más conocidas y mejores canciones de amor de la banda, que pasó más de 13 semanas en los pop-charts y llegó a ser #1 en US, fue un éxito mundial, re-estableciendo a los Stones en la cima de las listas de popularidad. Popularmente se creía que hablaba sobre la nueva esposa de David Bowie, pero en realidad se refería a Anita Pallenberg, la esposa de Richards en ese entonces.
La balada "Waiting on a Friend" fue grabada durante las sesiones de Goats Head Soup, pero no apareció en ningún disco hasta su inclusión en "Tattoo You", ocho años después. Terminaron el año con giras por Asia, Australia y Europa.
Para 1974 el grupo se traslada a los estudios de Musicland, en Munich, para la grabación de su próximo álbum, It's Only Rock'n'Roll. Para este disco, Jimmy Miller, que tená problemas de drogadicción, no fue el productor. La producción fue asumida por Jagger y Richards, que tomaron el seudónimo de "the Glimmer Twins". Fue lanzado en Octubre de 1974 con la participación del guitarrista de "The Faces", Ron Wood, en el tema que le da nombre al disco. Wood se había convertido en gran amigo de Richards y Jagger durante la grabación del álbum.
Cerca del final de 1974, Taylor se mostraba muy impaciente debido a que la banda no había tenido tours desde octubre del año pasado.La banda se encontraba en una situación de estancamiento, con los miembros que optan por pasar tiempo en el extranjero entre las sesiones de grabación y Jagger exasperado por el comportamiento errático de Richards. Los miembros de la banda terminaron por pagar multas jurídicas a causa del comportamiento de su guitarrista, los que llevó a la banda a que se les negara la entrada a ciertos países y por consiguiente se perdieron ingresos. Taylor pasó su tiempo ayudando a Jagger con la composición y grabación de las canciones, mientras que Richards estaba a menudo ausente. Jagger le prometió Taylor reconocimiento por sus contribuciones en forma de créditos oficiales de las disco. Cuando esto no sucedió, y sin tours a la vista a fines de 1974, y con una sesión de grabación ya reservada en Munich para grabar un nuevo álbum, Taylor decidió por dejar a los Rolling Stones oficialmente el 12 de Diciembre de 1974.[
