چهارساله بود که به همراه پدر به قصد زیارت حضرت رضا علیه السلام به مشهد آمد و پس از بازگشت به تهران، در این شهر ساکن شد. فقه، اصول و حکمت را نزد علمای تهران و برادر خود به پایان برد و با اشتیاق تمام به ادامه تحصیل همت گماشت. در سال ۱۳۱۷ ق به اتفاق برادرش از تهران به مشهد آمد و در حوزه درس برادرش و نیز شیخ حسنعلی تهرانی، حاج شیخ اسماعیل ترشیزی و میر سیدعلی حائری یزدی که از علمای بزرگ آن زمان بودند، حضور یافت و اجتهاد ایشان مورد تأیید همۀ این اساتید قرار گرفت. برای تکمیل تحصیلات خود به عتبات عالیات رفت.

مدتی در کربلا، نجف و سامرا به تحصیل علوم دینی از محضر اساتیدی همچون سیّد اسماعیل صدر اصفهانی، مرحوم آخوند خراسانی، سیّد محمدکاظم یزدی، میرزای دوم و… استفاده برد. به مشهد بازگشت و پس از ارتحال برادر، زمام امور شرعی مشهد را به عهده گرفت. در مدرسه میرزا جعفر تدریس می‌کرد و کتاب می‌نوشت و ساعتی را به حل مشکلات مردم اختصاص داد بود. از آثار شاخص او می‌توان به تفسیر «نفحات الرحمن» معروف به «تفسیر نهاوندی» اشاره کرد که ابتدا با چهار سال تلاش به اتمام رسید اما در یک آتش‌سوزی ناگهانی، سوخت و شیخ محمد، با عزمی راسخ و تلاشی مجدد به نوشتن درباره این تفسیر گران‌سنگ پرداخت و آن را به نحو مطلوبتر و شایسته تری به پایان رسانید. در شعر، «تجلی» تخلص می‌نمود و اشعار فارسی و عربی وی، دارای سبکی روان و ساده، همراه با مضامینی پرمحتوا و قافیه ای موزون می باشند. زبدة المصائب که دیوان شعری است در مصیبت هایی که بر اهل بیت علیهم السلام وارد شده است. مرثی های که معمولاً به مناسبت شهادت حضرت فاطمه (سلام الله) در مجالس سوگواری خوانده می شود از این عارف عاشق می باشد و آن این مرثیه است: علی چون جسم زهرا را کفن کرد/ شقایق را نهان در یاسمن کرد. از شاهدان عینی به توپ بستن حرم رضوی توسط قوای روس بود و در آخرین صفحات کتاب زبده المصائب خود ضمن مدح امام رضا (ع) به این رویداد ناگوار اشاره کرده است. با مسائل سیاسی بیگانه نبود و با آیت الله کاشانی روابط نزدیکی داشت. هرگاه به تهران می رفت به منزل ایشان وارد می شد. سرانجام در ۲۵ ربیع الآخر سال ۱۳۷۱ دار فانی را وداع گفت و در دارالضیافه حرم مطهر رضوی مدفون گردید. رهبر معظم انقلاب اسلامی در بیان سابقه علمی ایشان می فرمایند:«ما در مشهد از اوان کودکی با دو چهره علمی معروف نهاوندی آشنا شدیم، یکی مرحوم شیخ محمد نهاوندی بود، پسر شیخ عبدالرحیم نهاوندی، که او هم از ملاهای بزرگ تهران بود. مرحوم شیخ محمد نهاوندی از اعلام و اساتید مشهد بود، که پدر من پیش ایشان درس خوانده بود، صاحب «تفسیر نهاوندی» که چهار جلد است. ایشان شاعر خوبی هم بوده است. بنده ایشان را دیده بودم و با پدرم به منزل ایشان رفته بودیم، بسیار مرد فاضل، عالم، روشنفکر، مجتهد و متفننی بود.»