Istilah criminal justice system pertama kali dikemukakan di Amerika Serikat oleh pakar hukum pidana dan para ahli dalam criminal justice science. Criminal justice system muncul seiring dengan ketidakpuasan terhadap mekanisme kerja aparatur penegak hukum dan institusi penegakan hukum yang didasarkan pada pendekatan hukum dan ketertiban yang sangat menggantungkan keberhasilan penanggulangan kejahatan pada efektivitas dan efisiensi kerja hanya pada organisasi kepolisian (law enforcement). Kegagalan ini dikarenakan pada saat itu kepolisian menghadapi berbagai kendala dalam penanggulangan kejahatan, baik yang bersifat operasional maupun prosedur hukum, sehingga kendala tersebut memberikan hasil yang tidak optimal dalam upaya menekan kenaikan angka kriminalitas dan mencegah kejahatan yang terjadi, bahkan pada waktu itu tingkat kejahatan menjadi semakin meningkat, sehingga berdasarkan hal tersebut penanggulangan kejahatan mulai menggunakan pendekatan sistem yakni dengan istilah criminal justice system. Pada umumnya dalam criminal justice system terdapat beberapa komponen didalamnya, yaitu Kepolisian, Kejaksaan, Pengadilan Dan Lembaga Pemasyarakatan.
Lawrence M. Friedman dalam menguraikan konsep dari sistem hukum beliau melihat dari beberapa aspek (sudut pandang) yakni substansi, struktur dan budaya hukum. Criminal justice system jika dilihat dari cakupannya akan lebih luas dari hukum acara pidana, hal ini dikarenakan cakupan materi hukum acara pidana hanya terbatas pada aspek substansinya saja. Sementara dalam criminal justice system meliputi substansi, struktur juga budaya hukum. Artinya dalm suatu sistem, hukum tidak hanya dipandang apa yang diatur secara eksplisit didalam buku maupun peraturan-peraturan tertulis lainnya, akan tetapi juga bagaimana konteks dan dalam prakteknya.
Criminal justice system merupakan mekanisme kerja dalam penanggulangan kejahatan yang menggunakan dasar pendekatan sistem. Pendekatan sistem yang dimaksud adalah bahwa penanggulangan kejahatan dilakukan dengan melibatkan sub-sub sistem didalamnya sebagai suatu kesatuan yang saling berhubungan dan saling mempengaruhi antara sub-sub sitem tersebut. Melalui pendekatan sistem ini Kepolisian, Kejaksaan, Pengadilan dan Lembaga Pemasyarakatan merupakan sub-sub sitem yang berkaitan satu sama lain dalam menjalankan tugas dan fungsinya.