اعتزل الإمام أيام حكومة عمر ولم يشترك بأي عمل من أعمال الدولة كما اعتزل في أيام حكومة أبي بكر يقول محمّد بن سليمان في أجوبته على أسئلة جعفر بن مكّي عمّا دار بين علي وعثمان : إنّ عليّا دحضه الأوّلان يعني أبا بكر وعمر وأسقطاه وكسرا ناموسه بين الناس فصار نسيا منسيا ؛ ويعزو الإمام (عليه السلام) جميع ما لاقاه في حياته من النكبات والأزمات إلى عمر وذلك في حديث خاصّ له مع عبد الله بن عمر ؛ وعلى أي حال فقد اعتزل الإمام (عليه السلام) الناس اعتزالا تامّا وانصرف إلى تفسير القرآن الكريم ولم يتّصل بأحد سوى الصفوة من أصحابه أمثال الطيّب ابن الطيّب عمّار بن ياسر والثائر على الحكم الأموي أبو ذرّ وسلمان الفارسي وغيرهم من خيار أصحاب الرسول.

وكان عمر يرجع إلى الإمام في المسائل الفقهية ؛ لأنّ بضاعته كانت قليلة فيها وقد شاع عنه قوله :لو لا علي لهلك عمر , وقد نزلت في عمر نازلة فحار في التخلّص منها وعرض ذلك على أصحابه فقال لهم :ما تقولون في هذا الأمر؟ فأجابوه : أنت المفزع والمنزع .

فلم يرضه قولهم وتلا قوله تعالى : { يَا أَيُّهَا الَّذِينَ آمَنُوا اتَّقُوا اللَّهَ وَقُولُوا قَوْلًا سَدِيدًا } [الأحزاب: 70] , ثمّ قال لهم : أما والله! إنّي وإيّاكم لنعلم ابن بجدتها والخبير بها ؛ فقالوا : كأنّك أردت ابن أبي طالب؟ فقال : وأنّى يعدل بي عنه وهل طفحت حرّة بمثله لو دعوته يا أمير المؤمنين.

فامتنع من إجابتهم وقال : إنّ هناك شمخا من هاشم واثرة من علم ولحمة من رسول الله (صلى الله عليه واله) يؤتى ولا يأتي فامضوا بنا إليه , وخفّوا جميعا إليه فوجدوه في حائط له يعمل فيه وعليه تبان وهو يقرأ قوله تعالى {أَيَحْسَبُ الْإِنْسَانُ أَنْ يُتْرَكَ سُدًى} [القيامة: 36]إلى آخر السورة ودموعه تنهمر على خدّيه فلمّا رآه القوم اجهشوا في البكاء ولمّا سكتوا سأله عمر عمّا ألمّ به فأجابه عنه والتفت عمر إلى الإمام فقال له : أما والله! لقد أرادك الحقّ ولكن أبى قومك .

فأجابه الإمام : يا أبا حفص خفّض عليك من هنا وهنا , وقرأ قوله تعالى { إِنَّ يَوْمَ الْفَصْلِ كَانَ مِيقَاتًا } [النبأ: 17] , وذهل عمر فوضع إحدى يديه على الاخرى وخرج كأنّما ينظر في رماد .

وعلى أي حال فإنّ الإمام في خلافة عمر قد كان جليسا في بيته يساور الهموم ويسامر النجوم ويتوسّد الأرق ويتجرّع الغصص قد كظم غيظه وأوكل أمره إلى الله تعالى .