Όσες νύφες του προξένευαν τις απέρριπτε. Κάτι όμως έπρεπε να γίνει, καθώς ήταν ένας Αρχιδούκας και μικρότερος γιός του αυτοκράτορα Φραγκίσκου Ιωσήφ Α΄ της Αυστρίας.
Η μητέρα του Λούντβιχ Βίκτωρ προσπάθησε να του κανονίσει έναν γάμο με τη Δούκισσα Sophie Charlotte στη Βαυαρία, τη μικρότερη αδερφή της αυτοκράτειρας Ελισάβετ, αλλά εκείνος αρνήθηκε.
Ομοίως απέρριψε τα σχέδια να τον παντρευτεί με την Ισαβέλ, κόρη και κληρονόμο του αυτοκράτορα Πέδρο Β’ της Βραζιλίας.
Το 1863, ένας από τους αδελφούς του, Μαξιμιλιανός, προσπάθησε να τον πείσει να την παντρευτεί επειδή «ένας τέτοιος γάμος θα μπορούσε να δημιουργήσει μια άλλη δυναστεία των Αψβούργων στη Λατινική Αμερική… » και ζήτησε από τον Φραγκσίκο να διατάξει τον Λούντβιχ Βίκτορ να την παντρευτεί.
Ο αυτοκράτορας όμως το αρνήθηκε κάτι τέτοιο.
Ο Αρχιδούκας Λούντβιχ Βίκτορ Τζόζεφ Αντον γεννημένος τον Μάιο του 1842 ήταν το μικρότερο παιδί του αρχιδούκα Φραντς Καρλ της Αυστρίας και της συζύγου του, πριγκίπισσας Σοφίας της Βαυαρίας, και ως εκ τούτου ήταν ο μικρότερος αδερφός του αυτοκράτορα Φραγκίσκιου Ιωσήφ.
Όπως συνηθιζόταν για τους ανθρώπους της τάξης του, ακολούθησε στρατιωτική καριέρα, απέχοντας όμως από τη πολιτική.
Ήταν όμως απίστευτα ειλικρινής και απροκάλυπτος, κάτι που εξηγούσε γιατί απέρριπτε τις νύφες: Όχι μόνο ήταν ομοφυλόφιλος, αλλά το δήλωνε ανοιχτά και το έδειχνε και ενδυματολογικά, κάτι που τον 19ο αιώνα φάνταζε όχι μόνο αδιανόητο, αλλά για τις περισσότερες χώρες και ποινικό αδίκημα.
Μετά από ένα έντονο περιστατικό στα δημόσια λουτρά της Βιέννης, στα οποία ο άτακτος Βίκτορ χαστουκίστηκε δημοσίως, ο αυτοκράτορας ουσιαστικά του απαγόρευσε να μείνει στη πρωτεύουσα, εξορίζοντάς τον.
Αστειευόμενος μάλιστα για τον Βίκτορα, έλεγε ότι θα έπρεπε να του δώσουν μια μπαλαρίνα ως «σωματοφύλακα» για να τον κρατήσει μακριά από μπελάδες.
Ο Βίκτωρ αποσύρθηκε στο παλάτι Klessheim κοντά στο Σάλτσμπουργκ, όπου έγινε γνωστός ως φιλάνθρωπος και προστάτης των τεχνών, δίχως να αλλάξει επουδενί τίποτα όσα πίστευε και ήταν.
Πέθανε το 1919, σε ηλικία 76 ετών, όταν είχε πεθάνει και το ίδιο το καθεστώς που τον εξόρισε, μετά τον Α’ Παγκόσμιο Πόλεμο.
Με πληροφορίες από Wikipedia