根据《中华人民共和国行政处罚法》的规定，实施行政处罚的机关应当具有法定行政处罚权，并依法得到明确授权或委托。具体而言，具有法定行政处罚权的行政机关主要包括各级人民政府以及公安、工商、税务、土地、审计、卫生等部门。这些行政机关在各自的领域内代表国家行使行政管理权限，并依法可以对违反行政管理秩序的公民、法人或者其他组织实施行政处罚。
除此之外，法律、法规授权的具有管理公共事务职能的组织也具有一定的行政处罚权。这些组织主要包括工商所、税务所、公安派出所等。它们在相应的法律、法规授权的范围内享有行政处罚权，并必须在授权法规定的行政处罚的种类、幅度范围内实施行政处罚。超过授权法规定的处罚种类、幅度、数额的限制，该行政处罚无效。例如，《税收征收管理法》第四十九条规定，税务所可对个体工商户及未取得营业执照而从事经营的单位、个人实施罚款数额在一千元以下的行政处罚。
另外，受行政机关委托行使一定行政处罚权的受托组织也是行政处罚的重要主体之一。根据行政管理的实际的需要，行政机关可以依照法律、法规、规章的规定，在符合法定条件的情况下委托给相应的组织实施行政处罚。例如，《治安管理处罚法》规定在农村没有公安派出所的地方，对违反治安管理行为处以警告、五十元以下罚款的，可以由公安机关委托乡(镇)人民政府裁决。
在行政处罚权的执行方面，应当遵守一些基本原则。首先，当事人自觉履行原则是行政处罚权执行的重要原则之一。这意味着在实施行政处罚时，应当以当事人的自觉遵守为原则，尽量避免使用强制手段。其次，行政复议和行政诉讼期间，行政处罚决定不停止执行原则是指在行政复议或行政诉讼期间，行政处罚决定应当继续执行，除非被明确撤销或变更。此外，作出罚款决定的行政机关应当与收缴罚款的机构分离，但依照行政处罚法的规定可以当场收缴罚款的除外。当当事人逾期不履行行政处罚决定时，作出行政处罚决定的行政机关可以采取加处罚款、拍卖查封或扣押的财物、划拨冻结的存款、申请人民法院执行等措施来强制执行。需要注意的是，行政处罚是以对违法行为人的惩戒为目的，而不是以实现义务为目的。这一点将它与行政强制执行区别开来。同时，行政强制执行的目的是促使义务人履行义务。最后需要指出的是，行政处罚的适用主体是行政机关或法律、法规授权的组织。这一点使它与刑罚区别开来。刑罚的适用主体是人民法院。