Julidochromis marksmithi stammt aus dem Tanganjikasee in Ostafrika, insbesondere aus der Region um Kipili, Nkondwe Island und nördlich davon. Die Art bewohnt klare, tiefe Fels- und Sandbereiche des Sees mit großen Gesteinsformationen, Spalten und Überhängen. Typisch sind scharf strukturierte Uferbereiche mit ausgedehnten Felshängen und kleinen Sandtaschen. Die Strömungsverhältnisse sind moderat mit ausreichend Sauerstoffgehalt und klarem Wasser. Vegetation ist an den felsigen Uferzonen gering; stattdessen dominieren Algenfilme und Aufwüchse an Steinflächen als Nahrungsquelle.