Προθερμαίνουμε το φούρνο στους 200°C, πάνω και κάτω αντίσταση.
Βάζουμε σε ένα μεγάλο μπολ τις μερίδες του κρέατος και στύβουμε από πάνω τα λεμόνια, αλείφοντας να πάει παντού ο χυμός.
Καθαρίζουμε τις πατάτες, τις κόβουμε κυδωνάτες και τις ρίχνουμε στο μπολ με το κατσικάκι.
Προσθέτουμε τις καθαρισμένες αγκινάρες, τα κρεμμύδια, ξερό και φρέσκα, το σκόρδο, τον πελτέ, αλάτι και πιπέρι.
Περιχύνουμε με 1 φλιτζ. νερό και με το ελαιόλαδο και ανακατεύουμε πολύ καλά τα υλικά.
Βάζουμε στο ταψί τα κλωνάρια μάραθου. Τοποθετούμε από πάνω όλα τα υλικά απλώνοντάς τα, να μοιραστούν ομοιόμορφα.
Προσθέτουμε τα υγρά που έχουν μείνει στο μπολ.
Καλύπτουμε το ταψί με αντικολλητικό χαρτί και σφραγίζουμε γύρω γύρω με αλουμινόχαρτο.
Ψήνουμε το φαγητό σε προθερμασμένο φούρνο στην κάτω σχάρα, για 1½ ώρα, μέχρι να μαλακώσουν οι πατάτες και το κατσικάκι. Στη συνέχεια, ξεσκεπάζουμε και συνεχίζουμε το ψήσιμο για 30 λεπτά, να ροδίσει.