El origen de la banda se remonta a comienzos de la década de los 2000, cuando Rhys Webb hace amistad con Faris Badwan y Tom Cowan (Que habían ido juntos a la escuela pública Rugby School) en el circuito musical londinense y del área de Southend, gracias a un interés común en la música garajera y oscura de los 60. En el 2005, forman la banda, uniéndose a ellos Joshua Von Grimm y Joseph Spurgeon. Lanzaron su álbum debut Strange House el 5 de marzo de 2007, el cual alcanzó el puesto número 37 en las listas británicas. Su siguiente álbum, Primary Colours, vio la luz el 4 de mayo de 2009, y alcanzó el puesto número 25 en las listas de discos más vendidos del Reino Unido. En julio de 2011 se ha publicado su tercer disco "Skying"