Το αρχείο robots.txt καθοδηγεί τα bots των μηχανών αναζήτησης, ποια μέρη της ιστοσελίδας σας πρέπει ή δεν πρέπει να προσπελάσουν (crawling), προκειμένου σε δεύτερη φάση να κατατάξουν ή όχι τα περιεχόμενά τους, στα αποτελέσματα αναζήτησης (indexing). Αυτό το αρχείο τοποθετείται στον αρχικό φάκελο της σελίδας σας.

Για τη διαμόρφωση του αρχείου robots.txt θα  χρησιμοποιήσετε τις ακόλουθες απλές εντολές.

User-Agent

Συνήθως στην πρώτη γραμμή ορίζεται η εντολή User-Agent και χρησιμοποιείται για να αναφερθεί σε κάποιο συγκεκριμένο bot που θα περάσει από την ιστοσελίδα. Για παράδειγμα η εντολή User-Agent: Googlebot αναφέρεται στο bot της Google και οτιδήποτε ακολουθεί παρακάτω αφορά εκείνο.

Αν για παράδειγμα θέλετε όλοι οι κανόνες μέσα στο αρχείο robots.txt να αφορούν όλα τα bot, τότε μπορείτε να χρησιμοποιήσετε την εντολή User-Agent:* . Αν θέλετε διαφορετικούς κανόνες πρόσβασης για κάθε bot, τότε θα πρέπει να χρησιμοποιήσετε την εντολή User-Agent για κάθε Bot ξεχωριστά.

Τα πιο γνωστά bots είναι το Googlebot της Google και το Bingbot της Microsoft που αφορούν τις δυο μηχανές αναζήτησης των εταιρειών. Αξίζει να σημειωθεί ότι οι μεγάλες αυτές εταιρείες έχουν περισσότερα από ένα bots που προσπελαύνουν τις ιστοσελίδες, για διαφορετικό σκοπό το καθένα. Για παράδειγμα η google έχει διαφορετικό bot που προσπελαύνει σαν να είναι κινητό τηλέφωνο (Googlebot type: Mobile: Smartphone) και διαφορετικό για τις desktop εκδόσεις (Googlebot type: Desktop). Επίσης έχει διαφορετικό Bot για σελίδες νέων (Googlebot-News) , για εικόνες (Googlebot-Image), για video (Googlebot-Video) κ.ά.

Allow / Disallow

Έπειτα ακολουθούν εντολές που επιτρέπουν (Allow) ή απαγορεύουν (Disallow) την πρόσβαση των bots σε συγκεκριμένους φακέλους ή αρχεία της ιστοσελίδας.

Για παράδειγμα αν θέλετε να απαγορεύσετε την προσπέλαση του φακέλου wp-admin σε ένα wordpress site και κατ'επέκταση στα αποτελέσματα αναζήτησης, για λόγους ασφαλείας, τότε μπορείτε να χρησιμοποιήσετε την εντολή Disallow: /wp-admin/. Με αυτήν τη δήλωση, οτιδήποτε βρίσκεται μέσα στον φάκελο wp-admin δεν θα προσπελαστεί από το bot της μηχανής αναζήτησης. Μπορείτε επίσης να μπλοκάρετε την πρόσβαση και σε ολόκληρη την ιστοσελίδα με την εντολή Disallow: / .

Σημαντική παρατήρηση: Να θυμάστε πως το αρχείο robots.txt υπάρχει μέσα στην ιστοσελίδα σας σαν οδηγός για τις μηχανές αναζήτησης αλλά δεν εγγυάται πως το κομμάτι της ιστοσελίδας που θα απαγορεύσετε την πρόσβαση δεν θα ευρετηριοποιηθεί από κανένα bot, καθώς κάποια bots μπορεί να το παραλείπουν.

Επίσης αν κάποια σελίδα έχει μπλοκαριστεί με το αρχείο robots.txt, αλλά υπάρχει σύνδεσμος προς αυτήν από άλλη ιστοσελίδα στο διαδίκτυο, τότε τα botσ μπορεί να την ευρετηριοποιήσουν. Αν θέλετε να απαγορεύσετε την πρόσβαση σε συγκεκριμένες σελίδες θα ήταν καλύτερο να χρησιμοποιήσετε τις εντολές meta, όπως nofollow και noindex.

Sitemap

Άλλη μια χρήσιμη εντολή που μπορεί να προστεθεί στο αρχείο robots.txt είναι η Sitemap, η οποία υποδεικνύει στο bot, τη θέση του αρχείου xml sitemap της ιστοσελίδας σας. Για παράδειγμα: Sitemap: https://www.example.gr/website-sitemap.xml.

Ένα παράδειγμα απλού αρχείου robots.txt θα μπορούσε να περιέχει τα παρακάτω:

User-agent: * #Οι παρακάτω εντολές αφορούν όλα τα Bot
Disallow: /wp-admin/ #Απαγόρευση για τον φάκελο wp-admin
Allow: /wp-admin/test.php #Επιτρέπει το αρχείο test.php μέσα από τον απαγορευμένο φάκελο wp-admin
Disallow: /wp-login.php #Απαγόρευση για το αρχείο wp- login.php
Sitemap: https://www.example.com/website-sitemap.xml #Δείχνει το αρχείο sitemap της ιστοσελίδας

Πως θα βρω το αρχείο robots.txt του Wordpress για να το επεξεργαστώ;

Τα βήματα που μπορείτε να ακολουθήσετε για την δημιουργία και την τροποποίηση του αρχείου είναι απλά.

• Αρχικά δημιουργείτε ένα κενό αρχείο robots.txt στον υπολογιστή σας.
• Έπειτα μπορείτε να το επεξεργαστείτε είτε εισάγοντας κατάλληλα τις παραπάνω εντολές, είτε με τη χρήση plugin του Wordpress (βλέπε αργότερα).
• Στην περίπτωση που έχετε ολοκληρώσει την επεξεργασία του αρχείου μπορείτε να το ανεβάσετε στον φάκελο της εγκατάστασης του site σας.

• Εναλλακτικά, αν δυσκολεύεστε να το τροποποιήσετε εσείς, μπορείτε να ανεβάσετε το κενό αρχείο και με ένα plugin του Wordpress για SEO,  όπως το Yoast SEO ή το All In One SEO, να το παραμετροποιήσετε κατάλληλα.

Στη συνέχεια καλό θα ήταν να ελέγξετε αν  η Google διαβάζει / καταλαβαίνει το αρχείο robots.txt χρησιμοποιώντας το εργαλείο που σας παρέχει η ίδια. Για να το κάνετε αυτό θα πρέπει να συνδεθείτε στον πίνακα ελέγχου Webmaster της Google εδώ.