Σε ένα μικρό μπολ, ρίχνουμε το κονιάκ και μουσκεύουμε τις σταφίδες για μισή ώρα περίπου. Προθερμαίνουμε το φούρνο στους 180 C. Σε ένα μεγάλο μπολ ρίχνουμε το ελαιόλαδο, το χυμό του πορτοκαλιού και τη ζάχαρη άχνη. Ανακατεύουμε με μια κουτάλα. Προσθέτουμε το αλεύρι, το μπέικιν πάουντερ, το μοσχοκάρυδο και τις σταφίδες, αφού τις στραγγίξουμε. Ανακατεύουμε. Ρίχνουμε το μείγμα μας σε λαδωμένη και αλευρωμένη παραλληλόγραμμη φόρμα. Ψήνουμε το κέικ στο φούρνο που έχουμε προθερμάνει για μισή ώρα. Στη συνέχεια χαμηλώνουμε τη θερμοκρασία στους 160 C και συνεχίζουμε το ψήσιμο για άλλη μισή ώρα. Το ξεφορμάρουμε αφού κρυώσει.
