Berikut ini adalah keterbatasan dari proses deteksi tepi :
- Tepian yang diekstraksi menggunakan metode klasik sering kali tidak menunjukkan batasan objek. Diberbagai citra berkualitas rendah, beberapa dari metode konvensional menghasilkan kesalahan dalam pendeteksi tepi.
- Teknik deteksi tepi tergantung dari informasi yang terkandung pada nilai ketetanggaan pixel citra. Sebagian besar dari teknik deteksi tepi tidak dapat menghasilkan informasi berdasarkan model yang terdapat pada citra.
- Dalam banyak kasus stratedi deteksi tepi sering melewatkan hasil turunan yang lebih tinggi dan terkadang bisa dapat menjadi sesuatu yang penting dari citra tersebut.
- Setelah titik-titik tepian terdeteksi, maka akan dihubungkan untuk mendapatkan garis batas. Proses tersebut sering kali menyebabkan terjadinya diskontinuitas dan juga kekosongan pada citra.
- Metode penyambungan tepi terkadang memerlukan interpolasi yang berubah-ubah dengan tujuan untuk mengisi batas kekosongan.
Terkadang sangat sulit mengidentifikasi dan mengklasifikasikan tepian yang tidak beraturan (palsu).