هسته اوليه اين کتابخانه هنگامى که آیت الله مرعشی نجفی در نجف به تحصيل اشتغال داشت شکل گرفت. عدم تمکن مالى و رقيبان قدرتمندى که ميراث فرهنگى اسلامى را از کشورهاى اسلامى خارج مى ساختند، دو مشکل اساسى بر سر راه وی بود. حتى آیت الله مرعشی نجفی روزى بر سر خريد يک نسخه خطى با نماينده کنسول انگلیس در عراق درگير شد و شبى را در زندان سپرى نمود. وی با انجام نماز و روزه استيجارى، حذف يک وعده غذاى روزانه، کاستن بخشى از مخارج زندگى و کار شبانه در کارگاههاى برنج کوبى در نجف اشرف ـ پس از فراغت از درس و بحث به جمع آورى ميراث و ذخاير اسلامى پرداخت و سرانجام به مجموعه اى نفيس از نسخه هاى خطى و کتابهاى چاپى ناياب دست يافت. با مهاجرت آیت الله مرعشی نجفی از عراق به ایران در سال ١٣٤٢ق، مجموعه هاى فراهم شده نيز به ايران انتقال يافت و در منزل شخصى خويش به نگهدارى از آنها پرداخت و به جمع آورى ديگر نسخه هاى نفيس همّت گمارد. در همان دوران استادان مشهور دانشگاه به قم مى آمدند و از نسخه هاى نفيس موجود در منزل وی ـ که در هيچ کتابخانه اى يافت نمى شد ـ بهره مى گرفتند. آقا بزرگ تهرانی در تأليف الذریعة، از کتابخانه او بيشترين بهره را برده و در جاى جاى اين اثر از کتابخانه آیت الله مرعشی ياد مى کند. آیت الله مرعشی پس از تأسيس مدرسه مرعشیه، در سال ١٣٨٥ق/١٩٦٥م نخست کتابخانه کوچکى در دو اتاق مدرسه مزبور پى افکند. آن گاه در سوم شعبان همان سال، مطابق ١٣٤٤ خورشيدى، با انتقال مجموعه اى از کتاب هاى چاپى و بخشى از نسخه هاى خطى به طبقه سوم مدرسه مرعشيه، با حضور وی و بسيارى از علما و مدرسان حوزه علميه قم ـ کتابخانه جديد گشايش يافت.