इतिहासकारों के मुताबिक बाबर की शादी 13 साल की उम्र में हो गयी थी। बाबर की 10 से अधिक बीवियां थीं। लेकिन, बीवियों से अधिक रुचि बाबर की “बाबरी” नाम के लडक़े में थी। बाबरनामा के पृष्ठ 120-121 पर लिखा है कि बाबर की अपनी पत्नी से अधिक रुचि 14 साल के लडक़े बाबरी में रखता था। किताब के मुताबिक बाबर ने कभी किसी को इतना प्यार नहीं किया, जितना दीवानापन और प्यार बाबरी नामक लडक़े में था। बाबरी को वह हद से ज्यादा प्यार करता था। बाबर बाबरी के लिए शायरी भी करना पसंद करता था।
बाबरनामा के मुताबिक बाबरी को देखते ही बाबर रोमांचित हो उठता था। कम उम्र के लडक़े उसे पसंद थे। इतिहासकारों के मुताबिक विवादित ढांचा, इस लडक़े (बाबरी) के नाम पर रखी हो सकती है। कुछ का मानना है कि एक तरह से यह बाबर का एक हरम था जहां औरतों के साथ कई लडक़ों को भी रखा जाता था। किताब में कहा गया है बाबर अपने राज्य से सुंदर लडक़ों को अपने हरम में लाता था।
कुछ इतिहासकारों का यह भी मानना है कि विवादित ढांचा असल में मस्जिद नहीं थी। उनका तर्क है कि मस्जिद में खुले आसमान के नीचे नमाज पढ़ी जाती है। जबकि बाबरी मस्जिद में कोई ऐसी खुली जगह नहीं थी। साथ ही एक उजु भी बनाया जाता है। जहां नमाज़ पढऩे से पहले हाथ और पैर धोए जाते हैं। लेकिन, यह जगह भी अंदर नहीं बनाई गई थी।