根据我国宪法规定，我国上级检察机关与下级检察机关的关系是:最高人民检察院是最高检察机关。最高人民检察院领导地方各级人民检察院和专门人民检察院的工作，上级人民检察院领导下级人民检察院的工作。这就是说，地方各级人民检察院和专门人民检察院既受最高人民检察院的领导，也受上级人民检察院的领导，上下级人民检察院之间是领导与被领导的关系。
新中国成立以后，1949年12月颁布的《中央人民政府最高人民检察署试行组织条例》第二条规定:“全国各级检察署均独立行使职权，不受地方机关干涉，只服从最高人民检察署之指挥。”这说明，解放初期开始成立的我国检察机关上下级之间是垂直领导关系。
1951年9月颁布的《各级地方人民检察署组织通则》将检察机关的上下级的垂直领导改为双重领导关系，即地方各级人民检察署受上级人民检察署的领导，同时又是各级人民政府的组成部分，受同级人民政府委员会的领导。
1954年9月颁布的《中华人民共和国宪法》和《中华人民共和国人民检察院组织法》又规定，地方各级人民检察院独立行使职权，不受地方国家机关的干涉;地方各级人民检察院和专门人民检察院在上级人民检察院的领导下，并且一律在最高人民检察院的统一领导下进行工作。这实际上又恢复了解放初期建立的各级检察机关的垂直领导关系。
1975年1月17日，第四届全国人民代表大会第一次会议通过的《中华人民共和国宪法》规定检察机关的职权由各级公安机关行使，据此各级检察机关被撤销。
1978年3月，第五届全国人民代表大会第一次会议决定恢复重建人民检察院。此次会议通过的《中华人民共和国宪法》规定上下级检察机关的关系是上级检察机关监督下级检察机关的工作，最高检察机关监督地方各级检察机关的工作。同时，各级检察机关还要接受同级权力机关的监督。
1979年7月颁布的《中华人民共和国人民检察院组织法》第十条规定:“最高人民检察院对全国人民代表大会和全国人民代表大会常务委员会负责并报告工作。地方各级人民检察院对本级人民代表大会和本级人民代表大会常务委员会负责并报告工作。最高人民检察院领导地方各级人民检察院和专门人民检察院的工作，上级人民检察院领导下级人民检察院的工作。”将上下级检察机关的监督关系又改为领导关系。1982年宪法和1983年修订的《人民检察院组织法》再次确认了这种领导关系至今。
