Kandungan
Pencari Internet seperti Google, Yahoo dan Bing mencari maklumat menggunakan pautan dan sitemaps untuk laman web lain. Enjin carian ini boleh menemui beberapa maklumat yang paling tidak jelas dan memasukkannya ke dalam indeks anda dan jenis teknologi carian ini mempunyai kelebihan dan kekurangan bagi pengguna.
Halaman rangkaian dalaman
Halaman rangkaian dalaman adalah halaman di laman web yang memerlukan banyak klik untuk dilihat oleh pengguna. Halaman-halaman ini boleh menjadi produk, kandungan atau pangkalan data carian yang enjin carian biasanya tidak boleh dilacak. Kelebihan jenis teknologi ini, yang menghalang mesin pencari merangkak, adalah pemilik laman web boleh memiliki produk, pembelian, maklumat dan pautan penting lain yang termasuk dalam indeks enjin carian. Ini memberikan lebih banyak penglihatan di Internet kepada pemilik laman web.
Maklumat Peribadi
Salah satu kelemahan enjin carian yang merangkak ialah maklumat peribadi yang diindeks tanpa mengira privasi. Maklumat seperti nombor keselamatan, data kewangan atau lokasi geografi boleh diindeks, walaupun telah dipaparkan di laman web peribadi. Pencari yang disediakan pengguna dengan keupayaan untuk menyekat beberapa maklumat indeks dengan menggunakan fail yang dipanggil "robots.txt." Enjin carian seperti Google, sebagai contoh, membenarkan pengguna untuk mengalih keluar URL selepas pemilik tapak telah mengeluarkan maklumat yang menyinggung, yang dipadamkan dari indeks.
Automasi
Pemilik laman web boleh memiliki halaman mereka diindeks dengan meninggalkan beberapa pautan di laman web lain atau bahkan di laman web mereka sendiri. Amalan ini dipanggil "backlinking." Laman web yang memanfaatkan ciri ini secara automatik dikesan oleh enjin carian, yang kemudiannya boleh memetakan dan mengindeks laman web. Ini memudahkan situasi pemilik laman web kerana mereka tidak perlu menghantar nama domain ke enjin carian. Automasi indeks memudahkan para pembaca Internet untuk mencari.
