Δωρεάν Εργαλείο SEO
Δημιουργός Robots.txt
Πείτε στις μηχανές αναζήτησης τι να σαρώσουν. Επιλέξτε προεπιλογή, προσθέστε κανόνες και sitemap, και αντιγράψτε ένα έγκυρο robots.txt σε δευτερόλεπτα.
Ρυθμίσεις
Προεπιλογή
Crawlers
Disallow paths
Allow paths προαιρετικές εξαιρέσεις
Sitemap & crawl-delay
Το robots.txt σας
Ανεβάστε το αρχείο στη ρίζα του domain ώστε να βρίσκεται στο https://yourdomain.com/robots.txt. Δοκιμάστε το στο Google Search Console πριν το εμπιστευτείτε.
Δεν είστε σίγουροι τι να αποκλείσετε;
Ένα λάθος robots.txt μπορεί να κρύψει τις καλύτερες σελίδες σας από τη Google. Λάβετε δωρεάν τεχνική αξιολόγηση SEO.
Δωρεάν τεχνική αξιολόγηση →Τι είναι το αρχείο robots.txt;
Το robots.txt βρίσκεται στη ρίζα του domain και λέει στους crawlers ποια μέρη του site μπορούν ή δεν μπορούν να ζητήσουν. Σωστά χρησιμοποιημένο κρατά σελίδες χαμηλής αξίας εκτός crawl budget· απρόσεκτα, μπορεί να κρύψει σελίδες που θέλετε να καταταγούν.
Το Disallow αφαιρεί μια σελίδα από τη Google;
Όχι. Το Disallow σταματά τη σάρωση, αλλά ένα αποκλεισμένο URL μπορεί να εμφανιστεί στα αποτελέσματα αν άλλοι το συνδέουν. Για να μείνει εκτός ευρετηρίου, επιτρέψτε τη σάρωση και χρησιμοποιήστε noindex.
Να αποκλείσω τα AI bots;
Δική σας επιλογή. Ο αποκλεισμός crawlers όπως το GPTBot δεν επηρεάζει την κατάταξη στη Google, αλλά εξαιρεί το περιεχόμενό σας από κάποια AI datasets.