要与服刑人员离婚，可向人民法院起诉离婚，视情况而定是在原告住所地还是在被告住所地起诉。根据《民事诉讼法》第23条规定：下列民事诉讼，由原告住所地人民法院管辖；原告住所地与经常居住地不一致的，由原告经常居住地人民法院管辖：一是对不在中华人民共和国领域内居住的人提起的有关身份关系的诉讼；二是对下落不明或者宣告失踪的人提起的有关身份关系的诉讼；三是对被劳动教养的人提起的诉讼；四是对被监禁的人提起的诉讼。根据《最高人民法院关于适用若干问题的意见》第8条的规定，被告被监禁或被劳动教养一年以上的，由被告被监禁地或被劳动教养地人民法院管辖。