Il est rapporté qu’il était violent. On raconte qu’il l’avait envié pour l’abondance des biens, des provisions et des récoltes qu’il possédait, à tel point qu’on disait que son revenu annuel s’élevait à treize millions de dinars – certains affirmaient qu’il s’agissait plutôt de dirhams. Son fils, Yazid ibn Khalid, aurait quant à lui reçu dix millions.
On rapporte aussi qu’un homme de la suite de l’émir des croyants, issu des Quraysh et appelé Ibn ‘Amr, se rendit auprès de lui. Il ne l’accueillit pas et ne lui prêta aucune attention. Informé de cet affront, Hishâm lui envoya une lettre pour le réprimander et le blâmer. Il y était ordonné que, dès réception de ce courrier, il se lève immédiatement devant les gens de son entourage, s’en aille à pied jusqu’à la porte de Ibn ‘Amr, dans l’humiliation, en demandant son pardon. Si celui-ci ne lui ouvrait pas, il devrait patienter devant sa porte un an entier, sans s’en écarter ni s’en aller, puis se tenir à la décision d’Ibn ‘Amr : qu’il le destitue, le maintienne, se venge ou bien l’absoute. Hishâm informa ensuite Ibn ‘Amr de la teneur de cette missive destinée à Khâlid et lui recommanda de le frapper de vingt coups de fouet sur la tête, s’il jugeait cela opportun, lorsque Khâlid se présenterait devant lui.
Par la suite, Hishâm démit Khâlid de ses fonctions, mais il cacha sa décision. Il envoya alors un courrier rapide à son gouverneur du Yémen, Yûsuf ibn ‘Umar, pour le nommer à la tête de l’Irak, avec ordre de s’y rendre accompagné de trente cavaliers. Ils arrivèrent à Koufa à l’aube. Lorsque le muezzin appela à la prière, Yûsuf lui ordonna d’établir l’iqâma. Le muezzin réclama d’attendre l’imam – il s’agissait de Khâlid –, mais Yûsuf le rabroua et insista pour qu’il fasse immédiatement l’iqâma. Il commença la prière, récita : « Lorsque l’Événement surviendra » (al-Wâqi‘a), puis « Un implorant implora » (al-Ma‘ârij), avant de conclure. Il fit appeler Khâlid, Târiq et leurs hommes, s’empara de grandes sommes provenant de leurs biens et imposa à Khâlid une amende de cent millions de dirhams.
Khâlid avait été nommé gouverneur de l’Irak en Shawwâl de l’an cent cinquante (de l’Hégire) et il fut destitué en Joumâdâ al-Ulâ de cette même année, c’est-à-dire en l’an cent vingt, au cours duquel Yûsuf ibn ‘Umar arriva pour remplacer Khâlid ibn ‘Abd Allâh al-Qasrî. Il nomma alors Juday‘ ibn ‘Alî al-Karmânî comme son lieutenant au Khurâsân et destitua Ja‘far ibn Hanzala que Asad avait nommé auparavant. Ensuite, durant cette même année, Yûsuf ibn ‘Umar démit Juday‘ de son poste et confia le Khurâsân à Nasr ibn Sayyâr.
Toute la fortune que Khâlid avait accumulée, que ce soit en propriétés foncières ou en biens immobiliers, disparut d’un seul coup. Lorsqu’il apprit que Hishâm lui en voulait, certains de ses proches lui conseillèrent d’envoyer une partie de ses biens à Hishâm pour qu’il choisisse ce qui lui plaisait, et qu’il épargne le reste, lui disant : « Il vaut mieux perdre une partie tout en conservant le reste, plutôt que de tout perdre en étant destitué et ruiné. » Mais Khâlid refusa, abusé par la prospérité dont il jouissait et ne pouvant se résoudre à s’humilier. C’est ainsi qu’il fut brusquement relevé de ses fonctions et perdit tout ce qu’il avait amassé et défendu.
Le gouvernement de l’Irak et du Khurâsân revint donc à Yûsuf ibn ‘Umar, et Nasr ibn Sayyâr fut confirmé à la tête du Khurâsân. Dès lors, le pays retrouva sa stabilité et les populations vécurent dans la sécurité, louanges et gratitude étant dues à Dieu.
À ce propos, Suwâr ibn al-Ash‘ar (1) a dit :
« Khorasan s’est trouvée en sécurité après la peur
contre l’injustice de tout despote exerçant son pouvoir avec tyrannie. »