রায় পরিবারের ইতিহাস থেকে জানা যায়, তাঁদের এক পূর্বপুরুষ শ্রী রামসুন্দর দেও (দেব) নদীয়া জেলার চাকদহ গ্রামের বাসিন্দা ছিলেন। ভাগ্যান্বেষণে তিনি পূর্ববঙ্গের শেরপুরে গমন করেন। সেখানে শেরপুরের জমিদার বাড়িতে তার সাক্ষাৎ হয় যশোদলের জমিদার রাজা গুণীচন্দ্রের সাথে। রাজা গুণীচন্দ্র রামসুন্দরের সুন্দর চেহারা ও তীক্ষ্ণ বুদ্ধি দেখে মুগ্ধ হন এবং রামসুন্দরকে তার সাথে তার জমিদারিতে নিয়ে যান। যশোদলে জমিজমা, ঘরবাড়ি দিয়ে তিনি রামসুন্দরকে তার জামাতা বানান। সেই থেকে রামসুন্দর যশোদলে বসবাস শুরু করেন। তার বংশধররা সেখান থেকে সরে গিয়ে ব্রহ্মপুত্র নদের ধারে মসুয়া গ্রামে বসবাস শুরু করেন।
