हालांकि समय बीतने के साथ साल 2006 में आगरा से सांसद बने राज बब्बर और मुलायम सिंह का साथ छूट गया। इसके बाद राज बब्बर ने साल 2009 में फिरोजाबाद से सीधे-सीधे मुलायम सिंह यादव को चुनौती दे दी। उन्होंने उनकी पुत्रवधू डिंपल यादव के खिलाफ चुनाव लड़ा। फिरोजाबाद कांग्रेस का कोई वजूद नहीं होने के बाद भी राज बब्बर ने साल 2009 में मुलायम सिंह यादव की पुत्रवधू डिंपल यादव को हरा दिया। डिंपल यादव राज बब्बर को चाचा कहती थीं। सैफई परिवार के लिए यह बड़ा झटका था, जब उनको अपनों से ही लड़ना पड़ा और बड़ी पराजय मिली। राज बब्बर के पार्टी बदलने के बाद आगरा में सपा फिर से मजबूती नहीं बना पाई।
मुलायम सिंह यादव से राजनीति का पाठ सीखने वाले केंद्रीय मंत्री और आगरा से सांसद प्रो. एसपी सिंह बघेल भी मुलायम सिंह यादव के लिए कई बार चुनौती बने। प्रो. एसपी सिंह बघेल को भी मुलायम सिंह यादव ने ही राजनीतिक पहचान दिलाई। दरअसल, साल 1989 में मुलायम सिंह यादव के मुख्यमंत्री बनने के बाद प्रो. एसपी सिंह बघेल उनकी सुरक्षा में शामिल थे। वह यूपी पुलिस में बतौर सब इंस्पेक्टर तैनात थे। इस दौरान अपने कामकाज से उन्होंने मुलायम सिंह यादव का दिल जीत लिया। बाद में मुलायम सिंह यादव ने उन्हें जलेसर लोकसभा सीट से सपा उम्मीदवार के तौर पर चुनाव लड़ाया। हालांकि प्रोफेसर एसपी सिंह बघेल की जब मुलायम सिंह यादव से ठनी तो वह सैफई परिवार के सबसे बड़े सियासी प्रतिद्वंदी बन गए।
शिवपाल सिंह यादव तो सैफई परिवार के सदस्य हैं। मुलायम सिंह यादव के भाई हैं, लेकिन एक वक्त ऐसा भी आया जब शिवपाल यादव अपने परिवार के खिलाफ खड़े हो गए। प्रोफेसर रामगोपाल यादव के पुत्र अक्षय यादव के खिलाफ फिरोजाबाद लोकसभा सीट से उन्होंने 2019 के आम चुनाव में ताल ठोंक दी। 2019 का लोकसभा चुनाव फिरोजाबाद से अक्षय यादव हारे तो उनकी हार की वजह चाचा शिवपाल यादव ही रहे। शिवपाल यादव खुद तो नहीं जीत सके, लेकिन उन्होंने अक्षय यादव को भी जीतने नहीं दिया। मुलायम सिंह यादव के समधी शिकोहाबाद के पूर्व विधायक हरिओम यादव भी सैफई परिवार के खिलाफ मोर्चा खोले हुए हैं।
हाल ही में सपा से अलग हुए स्वामी प्रसाद मौर्या भी सपा-कांग्रेस के गठबंधन के लिए चुनौती बन सकते हैं। उन्होंने बीते दिन ऐलान किया है कि वे यूपी की कुशीनगर सीट से चुनाव लड़ेंगे। राष्ट्रीय शोषित समाज पार्टी के अध्यक्ष स्वामी प्रसाद मोर्या ने सूबे की दो लोकसभा सीटों पर अपने उम्मीदवारों के नाम का ऐलान भी किया है। जिसमें एक उम्मीदवार वो खुद हैं। जबकि पहले देवरिया से उन्होंने एसएन चौहान को अपनी पार्टी का उम्मीदवार बनाया। हालांकि बाद में उन्होंने एसएन चौहान का नाम वापस ले लिया।
दरअसल, मौर्या के पिछले काफी समय से समाजवादी पार्टी में वापसी के खबरें सामना आ रही थी। नाराजगी के चलते पार्टी से अलग हुए स्वामी पिछले कई दिनों से पार्टी और अखिलेश यादव के प्रति नर्म रुख अख्तियार किए हुए थे। ऐसा माना जा रहा था कि एक बार फिर से समाजवादी पार्टी में उनकी वापसी होने वाली है। इसके साथ ही स्वामी प्रसाद मौर्य के इंडिया गठबंधन में शामिल होने के भी कयास लगाए जा रहे थे। इसके लिए मौर्या ने कोशिश भी की लेकिन बात नहीं बन सकी। मौर्य ने नाराजगी जाहिर करते हुए अन्य सीटों पर भी प्रत्याशी उतारने की धमकी दी है। कहा जा रहा है कि स्वामी प्रसाद मौर्या प्रदेश की पांच सीटों पर चुनाव लड़ेंगे और जल्द ही उम्मीदवारों के नाम का ऐलान भी करेंगे। बहरहाल उन्होंने खुद कुशीनगर से चुनाव लड़ने की घोषणा की है।