Desde sus inicios impresionó con su estilo de voz y ritmo en sus sencillos. Debutó en 1973 con la banda Rufus, con un álbum titulado igual que la banda, consiguiendo notables éxitos como grupo funk. Con la ayuda de Stevie Wonder, Rufus entró de lleno en las listas de éxito de Pop y R&B en 1974 con el tema "Tell Me Something Good". Durante los años setenta y principios de los ochenta, la banda consigue numerosos éxitos, como "Tell Me Something Good", "Masterjam", "Sweet Thing""etc. Khan abandona el grupo en 1978. Y comienza su carrera en solitario. En Octubre de 1978 Khan publica su álbum de debut con su nombre homónimo, conteniendo el single "I´m every woman", posteriormente cantado por Whitney Houston. Ha tenido participaciones especiales en programas como Divas Live ´99 in New York, compartiendo escenario con leyendas de la industria de la música, como Cher, Tina Turner, Elton John, Brandy, LeAnn Rimes, Whitney Houston, Anastacia entre otras.