检徽的基本图案由盾牌、五颗五角星、长城和橄榄枝图形构成。盾牌和五角星象征着司法机关在国家法治建设中担负着法律保障等重要职责;长城象征着中国，充分体现了司法机关的国家属性，也象征着国家对司法工作顺利开展的坚强保障力;橄榄枝代表着和谐，象征司法在维护社会稳定、促进社会和谐发展中的重要作用。
现行的检徽设计突出了代表国家利益的特征，无论是对刑事案件的公诉，还是对民事行政条件的抗诉或提出检察建议，均体现国家利益在司法领域代言人的象征意义。同时，这一设计理念还契合了检察机关承担维护法律公正的客观义务，即从刑事政策的角度对不起诉履行一定的自由裁量权或者就起诉案件行使一定的量刑建议权。
起初，我国的检徽曾经设计为两把交叉的利剑。也许是因为容易让人联想到血腥与残暴，后来就不再使用该标志了。检察官在执行公务时只好佩戴国徽，理由是检察官是代表国家来行使职权的。这样做显然没能体现出检察官的法律职业特色。从历史发展来看，大陆法系所创设的检察官制，当初既未采取政府代言人的一般行政官模式，也未采纳完全独立自主的双法官模式，因而，自始具有居间的双重性质;从创设的目的来看，检察官向来居于法官与警察、行政权与司法权两者之间的中介枢纽。
检察官作为法律的守护人，既要追诉犯罪，更须保护被告人免于法官恣意及警察滥权，担当国家权力双重控制的任务;检察官不是法官，但要监督法官裁判，共同追求客观公正的裁判结果;检察官也不是警察，但要以司法的属性监督警察的侦查活动，确保侦查追诉活动的合法性。
