जिलाध्यक्ष रहते हुए ही बसपा से उन्होंने रायबरेली के जायस विधानसभा सीट से चुनाव लड़ा लेकिन भाग्य ने उनका साथ नहीं दिया। उन्हें हार का सामना करना पड़ा। दूसरी ओर उनके ही स्वाजातीय और कौशाम्बी जिले के मंझनपुर विधानसभा सीट से इंद्रजीत सरोज जीत कर विधानसभा पहुंच गए। इस जीत के साथ ही इंद्रजीत का बसपा में कद बढ़ता गया और एक समय ऐसा आया कि इंद्रजीत ने अजय पासी को बीएसपी से बाहर का रास्ता दिखा दिया था। पार्टी से निकाले जाने के बाद अजय पर मुकदमे लगना शुरू हो गए। ऐसे में खुद को बचाने के लिए अजय पासी ने कांग्रेस का दामन थाम सोरांव सुरक्षित से 2012 और 2017 का विधानसभा चुनाव लड़ा।
कांग्रेस का इलाहाबाद खास वजूद नहीं होने के कारण उन्हें हार का सामना करना पड़ा। लेकिन अचानक अजय पासी का चेहरा उस समय खिल उठा जब उनके धुर विरोधी और उन्हें पार्टी से बाहर का रास्ता दिखाने वाले बसपा के राष्ट्रीय महासचिव रहे इंद्रजीत सरोज को पार्टी से बाहर का रास्ता दिखा दिया गया। राजनीति का सबसे बड़ा कांटा जब खुद पार्टी से धराशायी हो गया तो बसपा पदाधिकारियों ने अजय पासी से सम्पर्क किया। अजय ने भी पार्टी में वापसी को लेकर हामी भर दी। इसके बाद आज उन्होंने विधिवत अपने दर्जनों समर्थकों के साथ पार्टी ज्वाइन कर लिया। इस दौरान इलाहाबाद बसपा जिलाध्यक्ष अवधेश गौतम ने कहा कि अजय पासी समाज के दिग्गज नेताओं में से एक हैं। उनके घर वापसी से पार्टी निश्चित रूप से मजबूत होगी। इसके साथ ही उन्होंने दावा किया कि इद्रजीत सरोज द्वारा निष्कासित करीब 100 से अधिक लोगों ने भी बसपा ज्वाइन करने के सम्पर्क में हैं। जिसमें अधिकांस पासी समाज के नेता हैं।