Parmi les autres savants de l’histoire, on rapporte ce qui suit : on dit que le calife ar-Rachid avait confié Yahyâ ibn ‘Abd Allâh ibn al-Hasan à Ja‘far al-Barmakî, afin que ce dernier le garde prisonnier chez lui. Yahyâ s’efforça alors de le flatter et de le ménager jusqu’à ce que Ja‘far le libère. Al-Fadl ibn ar-Rabî‘ dénonça Ja‘far à ar-Rachid à ce propos. Ar-Rachid dit alors : « Malheur à toi ! Ne t’immisce pas entre moi et Ja‘far. Peut-être l’a-t-il libéré sur mon ordre, sans que je m’en rende compte. » Puis ar-Rachid interrogea Ja‘far à ce sujet et ce dernier lui révéla la vérité, ce qui mit ar-Rachid en colère. Il jura de le tuer, prit en aversion les Barmakides, puis finit par les exécuter et les rejeter, alors qu’ils avaient jusque-là été les plus proches et les plus aimés à ses yeux. La mère de Ja‘far et celle d’al-Fadl avaient été nourrices d’ar-Rachid, et ce dernier leur avait accordé une position élevée et d’immenses richesses, plus que quiconque avant ou après eux, qu’ils fussent ministres ou grands personnages. Ainsi, Ja‘far construisit une demeure pour la somme de vingt millions de dirhams, et on raconte que c’est l’une des raisons qui provoquèrent la colère d’ar-Rachid à son égard.

On dit aussi que, partout où le calife passait – ville, région, ferme ou verger –, on lui déclarait : « Ceci appartient à Ja‘far. » Certains affirment que les Barmakides tramaient de renverser le califat d’ar-Rachid et de propager l’hérésie (zandaqa). D’autres attribuent leur mise à mort à l’affaire d’Abbâsa. Quelques savants rejettent cette dernière version, bien qu’Ibn Jarîr l’ait mentionnée.

Ibn al-Jawzî rapporte qu’on demanda à ar-Rachid la raison pour laquelle il avait tué les Barmakides, et qu’il répondit : « Si je savais que ma chemise en était au courant, je la brûlerais. » Il est attesté que Ja‘far entrait chez ar-Rachid sans permission, au point de le trouver dans son lit accompagné de ses concubines ; situation révélatrice de l’importance de sa position et de sa faveur auprès du calife. Il faisait même partie de ses compagnons lors des beuveries – car ar-Rachid finit par consommer du vin en fin de règne, pratique sujette à controverse. Parmi les proches chers à ar-Rachid figurait sa sœur Abbâsa, fille d’al-Mahdî, invitée elle aussi à ses réunions, en présence de Ja‘far al-Barmakî. Ar-Rachid maria donc Abbâsa à Ja‘far, afin qu’il puisse la regarder, tout en lui interdisant formellement de la toucher. Il arrivait pourtant que le calife les laissât seuls alors qu’ils avaient bu excessivement, et Ja‘far eut des rapports avec elle. Elle tomba enceinte et envoya son enfant, confié à l’une de ses servantes, à la Mecque pour qu’il y fût élevé.

Ibn Khallikân raconte dans son ouvrage « Les Obituaires » (al-Wafayât) qu’après avoir épousé la sœur du calife, Abbâsa, Ja‘far l’intéressa au point qu’elle en devint follement éprise. Elle le sollicita pour qu’il s’unît à elle, mais il refusa, redoutant le courroux d’ar-Rachid. Elle imagina alors stratagème : la mère de Ja‘far, qui offrait habituellement à son fils, chaque nuit de vendredi, une esclave vierge et belle, dut obéir à Abbâsa qui exigeait d’être introduite auprès de lui sous les traits d’une jeune esclave. La mère de Ja‘far craignait une telle ruse, mais Abbâsa la menaça jusqu’à ce qu’elle cède. Quand Abbâsa arriva ainsi déguisée, Ja‘far ne la reconnut pas et eut une relation charnelle avec elle. Elle s’écria ensuite : « Que penses-tu de la ruse des filles de rois ? » Elle tomba enceinte cette nuit-là. Ja‘far vint alors trouver sa mère en s’exclamant : « Tu m’as vendu à bas prix, par Dieu ! » Par la suite, Yahyâ ibn Khâlid, le père de Ja‘far, réduisit les dotations accordées à la maison d’ar-Rachid, au point que Zubayda s’en plaignit plusieurs fois auprès du calife. Elle lui révéla finalement le secret d’Abbâsa, ce qui provoqua la fureur d’ar-Rachid. Quand elle lui apprit que l’enfant avait été envoyé à la Mecque, il décida de se rendre lui-même en pèlerinage cette année-là pour s’assurer de la véracité du récit.

On raconte que l’une des servantes rapporta l’affaire à ar-Rachid, lui révélant ce qui s’était passé et l’existence de l’enfant à la Mecque, ainsi que la présence de servantes, de biens et de bijoux en abondance. Ar-Rachid n’y crut pas d’emblée ; il partit cependant en pèlerinage l’année suivante pour élucider l’affaire. Il finit par découvrir que tout était conforme à ce qui lui avait été rapporté.