Ορισμός του Crawler Web Spidering και Web

Οι αράχνες είναι προγράμματα (ή αυτοματοποιημένα σενάρια) που «ανιχνεύουν» μέσω του Ιστού αναζητώντας δεδομένα. Οι αράχνες ταξιδεύουν μέσω των διευθύνσεων URL ιστότοπων και μπορούν να τραβήξουν δεδομένα από ιστοσελίδες όπως διευθύνσεις ηλεκτρονικού ταχυδρομείου Οι αράχνες χρησιμοποιούνται επίσης για να τροφοδοτούν πληροφορίες που βρίσκονται σε ιστοσελίδες στις μηχανές αναζήτησης.

Οι αράχνες, οι οποίες επίσης αναφέρονται ως "ανιχνευτές ιστού", ψάχνουν στο Web και δεν είναι όλοι φιλικοί στην πρόθεσή τους.

Spammers Spider Websites για τη συλλογή πληροφοριών

Google, Yahoo! και άλλες μηχανές αναζήτησης δεν είναι οι μόνοι που ενδιαφέρονται να ανιχνεύσουν ιστότοπους - έτσι είναι απατεώνες και spammers.

Οι αράχνες και άλλα αυτοματοποιημένα εργαλεία χρησιμοποιούνται από τους αποστολείς ανεπιθύμητης αλληλογραφίας για να βρουν διευθύνσεις ηλεκτρονικού ταχυδρομείου (στο διαδίκτυο η πρακτική αυτή αναφέρεται συχνά ως «συγκομιδή») σε ιστότοπους και στη συνέχεια να τις χρησιμοποιήσετε για τη δημιουργία λιστών ανεπιθύμητης αλληλογραφίας.

Οι αράχνες είναι επίσης ένα εργαλείο που χρησιμοποιείται από τις μηχανές αναζήτησης για να μάθετε περισσότερες πληροφορίες σχετικά με τον ιστότοπό σας, αλλά δεν έχει επιλεγεί, ένας ιστότοπος χωρίς οδηγίες (ή "δικαιώματα") σχετικά με τον τρόπο ανίχνευσης του ιστότοπού σας μπορεί να παρουσιάσει σημαντικούς κινδύνους για την ασφάλεια των πληροφοριών. Οι αράχνες ταξιδεύουν ακολουθώντας τους συνδέσμους και είναι πολύ έμπειροι στην εύρεση συνδέσμων σε βάσεις δεδομένων, αρχεία προγραμμάτων και άλλες πληροφορίες στις οποίες μπορεί να μην θέλετε να έχουν πρόσβαση.

Οι Webmasters μπορούν να δουν τα αρχεία καταγραφής για να δουν τι αράχνες και άλλα ρομπότ έχουν επισκεφτεί τους ιστοτόπους τους. Αυτές οι πληροφορίες βοηθούν τους υπεύθυνους ιστού να γνωρίζουν ποια είναι η ευρετηρίαση του ιστότοπού τους και πόσο συχνά.

Αυτές οι πληροφορίες είναι χρήσιμες επειδή επιτρέπουν στους υπεύθυνους ιστού να συντονίζουν καλύτερα το SEO και να ενημερώνουν τα αρχεία robot.txt για να απαγορεύσουν σε ορισμένα ρομπότ να ανιχνεύσουν το site τους στο μέλλον.

Συμβουλές για την προστασία της ιστοσελίδας σας από ανεπιθύμητα ρομπότ Crawlers

Υπάρχει ένας αρκετά απλός τρόπος για να κρατήσετε τους ανεπιθύμητους ανιχνευτές έξω από τον ιστότοπό σας. Ακόμα κι αν δεν ανησυχείτε για τις κακόβουλες αράχνες που ανιχνεύουν τον ιστότοπό σας (η εσφαλμένη διεύθυνση ηλεκτρονικού ταχυδρομείου δεν θα σας προστατεύει από τα περισσότερα προγράμματα ανίχνευσης), θα πρέπει να παρέχετε στις μηχανές αναζήτησης σημαντικές οδηγίες.

Όλοι οι ιστότοποι πρέπει να έχουν ένα αρχείο που βρίσκεται στον ριζικό κατάλογο που ονομάζεται αρχείο robots.txt. Αυτό το αρχείο σάς δίνει τη δυνατότητα να καθοδηγήσετε τα προγράμματα ανίχνευσης ιστού όπου θέλετε να αναζητήσουν σε σελίδες ευρετηρίου (εκτός αν αναφέρεται διαφορετικά στα μεταδεδομένα μιας συγκεκριμένης σελίδας για να μην αναπροσαρμόζονται) εάν είναι μηχανή αναζήτησης.

Όπως μπορείτε να πείτε στους ανιχνευτές που θέλετε να περιηγηθείτε, μπορείτε επίσης να τους πείτε πού μπορεί να μην πάνε και να μπλοκάρουν συγκεκριμένους ανιχνευτές από ολόκληρο τον ιστότοπό σας.

Είναι σημαντικό να έχετε κατά νου ότι ένα σωστά τοποθετημένο αρχείο robots.txt θα έχει τεράστια αξία για τις μηχανές αναζήτησης και θα μπορούσε να αποτελέσει βασικό στοιχείο για τη βελτίωση της απόδοσης του ιστοτόπου σας, αλλά ορισμένες ανιχνευτές ρομπότ εξακολουθούν να αγνοούν τις οδηγίες σας. Για το λόγο αυτό, είναι σημαντικό να διατηρείτε πάντα ενημερωμένο το λογισμικό, τα plugins και τις εφαρμογές σας.

Σχετικά άρθρα και πληροφορίες

Λόγω της επικράτησης της συλλογής πληροφοριών που χρησιμοποιήθηκε για κακόβουλους σκοπούς (spam), ψηφίστηκε νομοθεσία το 2003 για να καταστήσει ορισμένες πρακτικές παράνομες. Αυτοί οι νόμοι για την προστασία των καταναλωτών εμπίπτουν στο νόμο CAN-SPAM του 2003.

Είναι σημαντικό να αφιερώσετε χρόνο για να διαβάσετε τον νόμο CAN-SPAM, εάν η επιχείρησή σας ασχολείται με οποιαδήποτε μαζική αποστολή ή συλλογή πληροφοριών.

Μπορείτε να μάθετε περισσότερα σχετικά με τους νόμους κατά του spam και τον τρόπο αντιμετώπισης των ανεπιθύμητων αλληλογραφίας και τι δεν μπορείτε να κάνετε ως ιδιοκτήτης επιχείρησης διαβάζοντας τα ακόλουθα άρθρα:

• CAN-SPAM Act 2003
• CAN-SPAM νόμος για τους μη κερδοσκοπικούς οργανισμούς
• 5 CAN-SPAM Κανόνες Οι ιδιοκτήτες μικρών επιχειρήσεων πρέπει να καταλάβουν