शरद यादव पांचवीं लोकसभा में 1974 में उपचुनाव के जरिए भी पहुंचे थे। यह उपचुनाव उन्होंने मध्यप्रदेश की जबलपुर सीट से जीता था। जो सुप्रसिद्ध हिंदी सेवी सेठ गोविंददास के निधन से खाली हुई थी। यह उपचुनाव कई मायनों में बेहद महत्वपूर्ण था। सेठ गोविंददास इस सीट पर कांग्रेस के टिकट पर 1952 से लगातार जीतते आ रहे थे। जिस समय यह उपचुनाव हुआ उस समय जयप्रकाश नारायण के नेतृत्व में राष्ट्रव्यापी छात्र आंदोलन पूरे चरम पर था। शरद यादव उस समय जबलपुर विश्वविद्यालय छात्र संघ के अध्यक्ष थे और आंदोलन के सिलसिले में ही आंतरिक सुरक्षा कानून के तहत जेल में बंद थे।
जेल में रहते हुए जीते उपचुनाव
जयप्रकाश नारायण की पहल पर उन्हें सभी विपक्षी दलों की ओर से जनता उम्मीदवार बनाया गया। वे जेल में रहते हुए ही चुनाव लड़े और जीते। उन्होंने कांग्रेस के टिकट पर लड़े सेठ गोविंद दास के बेटे रविमोहन दास को हराया। हालांकि वे ज्यादा दिन तक इस लोकसभा के सदस्य नहीं रहे। आपातकाल के दौरान 1976 में तत्कालीन प्रधानमंत्री इंदिरा गांधी ने जब मनमाने तरीके से लोकसभा का कार्यकाल पांच से बढ़ाकर छह वर्ष कर दिया तो उनके इस कदम के विरोध में शरद यादव ने समाजवादी नेता मधु लिमये के साथ जेल में रहते हुए ही लोकसभा की सदस्यता से इस्तीफा दे दिया। माना जाता है कि जबलपुर का जनता उम्मीदवार का यह प्रयोग ही आगे चलकर 1977 में उस जनता पार्टी के गठन की प्रेरणा बना। जिसने सत्ता पर तीन दशक पुराने कांग्रेस के एकाधिकार को खत्म करने का ऐतिहासिक काम किया।