وی در ۴ اردیبهشت ۱۳۰۵، در در روستای ارنگه از توابع کرج به دنیا آمد و پس از آموزش مقدمات متون حوزوی در حوزه علمیه قم، تحصیلات خود را در فقه و اصول در همانجا ادامه داد.

تهرانی پیش از انقلاب علیه حکومت پهلوی سخنرانی و فعالیت می‌کرد و به همین دلیل بازداشت و به سیرجان تبعید شد. وی پس از پیروزی انقلاب اسلامی مدتی به‌عنوان رییس دادگاه انقلاب مشهد و دادگاه انقلاب اهواز فعالیت کرد و در سال ۱۳۵۸ به عنوان نماینده مشهد به مجلس خبرگان قانون اساسی راه‌ یافت.

او همچنین از حامیان ابوالحسن بنی‌صدر به شمار می‌رفت و جزو هواداران سازمان مجاهدین خلق (منافقین) نیز محسوب می‌شد. تهرانی از سال ۱۳۶۳ با خروج از ایران و استقرار در عراق، در رادیو و تلویزیون فارسی‌زبان بغداد علیه جمهوری اسلامی سخنرانی می‌کرد.

علی تهرانی در سال ۱۳۷۴ به ایران بازگشت و پس از بازداشت در دادگاه ویژه روحانیت محاکمه شد و به زندان رفت و تا ۱۳۸۴ دوران محکومیت خود را پشت سر گذاشت و پس از آزادی دیگر اظهارنظر و یا فعالیت سیاسی نکرد.

نزدیکان وی اعلام کرده‌اند که وی روز ۲۷ مهر ماه ۱۴۰۱ در سن ۹۶ سالگی در تهران درگذشته است