लालकृष्ण आडवाणी, जिन्होंने गुजरात के मुख्यमंत्री पद के लिए नरेंद्र मोदी के नाम का सुझाव दिया और बाद में 2002 में गुजरात दंगों के बाद इस्तीफे की मांगों को खारिज करने में महत्त्वपूर्ण भूमिका निभाई थी, 2004 के लोकसभा चुनाव में भारतीय जनता पार्टी की हार के लिए वीएचपी को जिम्मेदार ठहराया था। एक किताब में इस बात का दावा किया गया है। अपनी पुस्तक जुगलबंदी में, जो कि इंटरव्यू, निजी दस्तावेज और बीजेपी के इतिहास लेखन पर आधारित है, में लेखक विनय सीतापति का कहना है कि पार्टी की हार आंशिक रूप से बहुत अधिक विचारधारा पर केंद्रित थी। किताब के अनुसार, उस चुनाव में केंद्र में सत्ता में वापसी की उम्मीद कर रही भाजपा बहुमत से 100 सीट पीछे रह गई थी।
आरएसएस ने अपने स्वयं के निदान की पेशकश कीः आरएसएस कोर मतदाता और कैडर ने एक उदासीनता दिखाई थी, क्योंकि विचारधारा में कमजोर पड़ने के बारे में धारणा बन गई थी। दूसरी तरफ आडवाणी और वाजपेयी बहुत अधिक विचारधारा को दोष देते हैं। हालांकि, यह आडवाणी ही थे, जिन्होंने वाजपेयी को परास्त कर नरेंद्र मोदी के राजनीतिक जीवन की रक्षा की थी, लेकिन अब उन्हें एहसास हुआ कि उन्होंने क्या किया है। आडवाणी ने अपने पारिवारिक मित्र (वाजपेयी) को जल्द ही छोड़ दिया। उन्होंने कहा था वीएचपी ने हमें नुकसान पहुंचाया। किताब के मुताबिक, चुनाव में मिली हार के लिए दोष दंगों पर लगाया गया था, जिसके लिए मोदी को अल्पसंख्यक समुदाय की रक्षा नहीं करने के लिए दोषी ठहराया गया था।