Τι είναι το robots.txt
Τι είναι το robots.txt

Τι είναι το robots.txt

Πηγαινε τώρα σε ένα website (ακόμα και αυτό) και πληκτρολογησε μετα από το domain name, “/robots.txt”.

Πάτα enter.

Βλέπεις μπροστά σου το αρχείο “robots.txt” της ιστοσελίδας.

Τι είναι

Τι είναι το robots.txt

Το robots.txt είναι ένα αρχείο που βρίσκεται στο root folder του website στον server σου και είναι αυτό που στην ουσία λέει στα googlebots και τα web crawlers τι να διαβάσουν στο website σου και με ποιον τρόπο.

To robots.txt μπορεί να επιτρέψει αλλά και να απαγορεύσει κάποιους crawlers να διαβάσουν τη σελίδα σου και να τη συμπεριλάβουν στα αποτελέσματα.

Μπορεί να επιτρέψει ή απαγορέψει από κάποιες συγκεκριμένες σελίδες του website να εμφανίζονται στα αποτελέσματα.

Αν δεις το δικό μας robots.txt, είναι λίγο βαρετό. Το μόνο που λέει ειναι πως

  1. Επίτρεψε σε όλους τους web crawlers (user-agents) να διαβάσουν το viralgrowth.eu (το σύμβολο “*” υποδηλώνει το “ολους”
  2. Μην διαβάσεις ο,τι είναι στον φάκελο “/wp-admin”
  3. …εκτός από το αρχείο “/wp-admin/admin-ajax.php”

Αν δεις κάποιου μεγάλου website, πχ του Buzzfeed, μπορείς να δεις ενδιαφέροντα πράγματα.

Για παράδειγμα, πως σε κάποιους web crawlers επιτρέπουν να διαβάσουν συγκεκριμένα πράγματα. Ή πως δεν επιτρέπει στα bots να διαβάσουν τις σελίδες που είναι σχετικές με διαγωνισμούς (/contests), που βγάζει πολύ νόημα.

Γιατι χρειάζεται να ξέρω για το robots.txt;

Το πιο πιθανό είναι πως δεν θα χρειαστείς να αλλάξεις το robots.txt αρχείο σου. Άλλωστε συνήθως οι αρχικές ρυθμίσεις είναι και οι πιο συνηθισμένες.

Όμως επιβάλλεται να γνωρίζεις την ύπαρξή του, γιατί πολλές φορές μπορεί να δημιουργηθούν σοβαρά προβλήματα στο SEO του website σου εξαιτίας αυτού του αρχείου.

Ίσως κάποιο plugin έκανε μια εγγραφή στο robots.txt ή κάποιος developer πείραξε κάτι εκεί μέσα, και ξαφνικά το site σου ή κάποιες σελίδες του να έχουν επηρεαστεί αρνητικά και να μην υπάρχουν στις μηχανές αναζήτησης.

Σε αυτή την περίπτωση,  το robots.txt είναι το πρώτο μέρος που πρέπει να πας να ψάξεις.

Και θα σου δώσει πολλές απαντήσεις.

Εσείς μάθατε για την μεθοδολογία κατασκευής και ανακατασκευής επαγγελματικών ιστοσελίδων Growth Driven Design;

Leave a Reply