ನಿಮ್ಮ ವೆಬ್ಸೈಟ್ನ ಮೂಲದಲ್ಲಿ ಸಂಗ್ರಹವಾಗಿರುವ robots.txt ಫೈಲ್ ಹುಡುಕಾಟ ಎಂಜಿನ್ ಸ್ಪೈಡರ್ಗಳಂತಹ ವೆಬ್ ರೊಬೊಟ್ಗಳಿಗೆ ಯಾವ ಕೋಶಗಳು ಮತ್ತು ಫೈಲ್ಗಳನ್ನು ಕ್ರಾಲ್ ಮಾಡಲು ಅನುಮತಿಸಲಾಗಿದೆ ಎಂದು ತಿಳಿಸುತ್ತದೆ. ಇದು robots.txt ಫೈಲ್ ಅನ್ನು ಬಳಸಲು ಸುಲಭವಾಗಿದೆ, ಆದರೆ ನೀವು ನೆನಪಿನಲ್ಲಿರಿಸಬೇಕಾದ ಕೆಲವು ವಿಷಯಗಳಿವೆ:
- ಕಪ್ಪು ಹ್ಯಾಟ್ ವೆಬ್ ರೋಬೋಟ್ಗಳು ನಿಮ್ಮ robots.txt ಫೈಲ್ ಅನ್ನು ನಿರ್ಲಕ್ಷಿಸುತ್ತವೆ. ಸಾಮಾನ್ಯವಾದ ವಿಧಗಳು ಮಾಲ್ವೇರ್ ಬಾಟ್ಗಳು ಮತ್ತು ರೋಬೋಟ್ಗಳು ಕೊಯ್ಲು ಮಾಡಲು ಇಮೇಲ್ ವಿಳಾಸಗಳನ್ನು ಹುಡುಕುತ್ತಿವೆ.
- ಕೆಲವು ಹೊಸ ಪ್ರೋಗ್ರಾಮರ್ಗಳು robots.txt ಫೈಲ್ ಅನ್ನು ನಿರ್ಲಕ್ಷಿಸುವ ರೋಬೋಟ್ಗಳನ್ನು ಬರೆಯುತ್ತಾರೆ. ಇದನ್ನು ಸಾಮಾನ್ಯವಾಗಿ ತಪ್ಪಾಗಿ ಮಾಡಲಾಗುತ್ತದೆ.
- ಯಾರಾದರೂ ನಿಮ್ಮ robots.txt ಫೈಲ್ ಅನ್ನು ನೋಡಬಹುದು. ಅವುಗಳನ್ನು ಯಾವಾಗಲೂ robots.txt ಎಂದು ಕರೆಯಲಾಗುತ್ತದೆ ಮತ್ತು ಯಾವಾಗಲೂ ವೆಬ್ಸೈಟ್ನ ಮೂಲದಲ್ಲಿ ಸಂಗ್ರಹಿಸಲಾಗುತ್ತದೆ.
- ಅಂತಿಮವಾಗಿ, ಯಾರಾದರೂ robots.txt ಫೈಲ್ನಿಂದ ಹೊರಗಿಡದ ಪುಟದಿಂದ ನಿಮ್ಮ robots.txt ಫೈಲ್ನಿಂದ ಹೊರತುಪಡಿಸಿದ ಫೈಲ್ ಅಥವಾ ಡೈರೆಕ್ಟರಿಗೆ ಲಿಂಕ್ ಮಾಡಿದರೆ, ಹುಡುಕಾಟ ಯಂತ್ರಗಳು ಇದನ್ನು ಹೇಗಾದರೂ ಪತ್ತೆ ಮಾಡಬಹುದು.
ಯಾವುದನ್ನೂ ಮರೆಮಾಡಲು robots.txt ಫೈಲ್ಗಳನ್ನು ಬಳಸಬೇಡಿ. ಬದಲಾಗಿ, ನೀವು ಸುರಕ್ಷಿತ ಪಾಸ್ವರ್ಡ್ಗಳ ಹಿಂದಿರುವ ಪ್ರಮುಖ ಮಾಹಿತಿಯನ್ನು ಇರಿಸಬೇಕು ಅಥವಾ ಅದನ್ನು ವೆಬ್ನಿಂದ ಸಂಪೂರ್ಣವಾಗಿ ಬಿಡಬೇಕು.
ಈ ಮಾದರಿ ಫೈಲ್ಗಳನ್ನು ಹೇಗೆ ಬಳಸುವುದು
ನೀವು ಏನು ಮಾಡಬೇಕೆಂದಿರುವಿರಿ ಎಂಬುದರ ಹತ್ತಿರವಿರುವ ನಮೂನೆಯಿಂದ ಪಠ್ಯವನ್ನು ನಕಲಿಸಿ ಮತ್ತು ಅದನ್ನು ನಿಮ್ಮ robots.txt ಫೈಲ್ಗೆ ಅಂಟಿಸಿ. ನಿಮ್ಮ ಆದ್ಯತೆಯ ಸಂರಚನೆಯನ್ನು ಹೊಂದಿಸಲು ರೋಬೋಟ್, ಡೈರೆಕ್ಟರಿ ಮತ್ತು ಫೈಲ್ ಹೆಸರುಗಳನ್ನು ಬದಲಾಯಿಸಿ.
ಎರಡು ಮೂಲಭೂತ Robots.txt ಫೈಲ್ಸ್
ಬಳಕೆದಾರ-ಏಜೆಂಟ್: *
ಅನುಮತಿಸಬೇಡಿ: /
ಈ ಫೈಲ್ ಯಾವುದೇ ರೋಬಾಟ್ (ಬಳಕೆದಾರ-ಏಜೆಂಟ್: *) ಅನ್ನು ಪ್ರವೇಶಿಸುತ್ತದೆ ಅದನ್ನು ಸೈಟ್ನಲ್ಲಿನ ಪ್ರತಿ ಪುಟವನ್ನೂ ನಿರ್ಲಕ್ಷಿಸಬೇಕೆಂದು ಹೇಳುತ್ತದೆ (ಅನುಮತಿಸಬೇಡಿ: /).
ಬಳಕೆದಾರ-ಏಜೆಂಟ್: *
ಅನುಮತಿಸಬೇಡ:
ಯಾವುದೇ ಫೈಲ್ ಅನ್ನು ಪ್ರವೇಶಿಸುವ ಯಾವುದೇ ರೋಬೋಟ್ (ಬಳಕೆದಾರ-ಏಜೆಂಟ್: *) ಅನ್ನು ಸೈಟ್ನಲ್ಲಿನ ಪ್ರತಿ ಪುಟವನ್ನು ವೀಕ್ಷಿಸಲು ಅನುಮತಿಸಲಾಗುವುದು (ಅನುಮತಿಸಬೇಡಿ:).
ನಿಮ್ಮ robots.txt ಫೈಲ್ ಅನ್ನು ಖಾಲಿ ಬಿಡುವ ಮೂಲಕ ಅಥವಾ ನಿಮ್ಮ ಸೈಟ್ನಲ್ಲಿ ಒಂದನ್ನು ಹೊಂದಿರದಿದ್ದರೂ ಸಹ ನೀವು ಇದನ್ನು ಮಾಡಬಹುದು.
ರೋಬೋಟ್ಸ್ನಿಂದ ನಿರ್ದಿಷ್ಟ ನಿರ್ದೇಶಿಕೆಗಳನ್ನು ರಕ್ಷಿಸಿ
ಬಳಕೆದಾರ-ಏಜೆಂಟ್: *
ಅನುಮತಿಸಬೇಡಿ: / ಸಿಜಿಐ-ಬಿನ್ /
ಅನುಮತಿಸಬೇಡಿ: / ಟೆಂಪ್ /
ಇದನ್ನು ಪ್ರವೇಶಿಸುವ ಯಾವುದೇ ರೋಬೋಟ್ (ಬಳಕೆದಾರ-ಏಜೆಂಟ್: *) ಕೋಶಗಳನ್ನು / ಸಿಜಿಐ-ಬಿನ್ / ಮತ್ತು / ಟೆಂಪ್ / (ನಿರ್ಲಕ್ಷಿಸು: / ಸಿಜಿಐ-ಬಿನ್ / ಅನುಮತಿಸಬೇಡಿ: / ಟೆಂಪ್ /) ನಿರ್ಲಕ್ಷಿಸಬೇಕೆಂದು ಈ ಫೈಲ್ ಹೇಳುತ್ತದೆ.
ರೋಬೋಟ್ಸ್ನಿಂದ ನಿರ್ದಿಷ್ಟ ಪುಟಗಳನ್ನು ರಕ್ಷಿಸಿ
ಬಳಕೆದಾರ-ಏಜೆಂಟ್: *
ಅನುಮತಿಸಬೇಡಿ: /jenns-stuff.htm
ಅನುಮತಿಸಬೇಡಿ: / private.php
ಈ ಕಡತವು ಯಾವುದೇ ರೊಬೊಟ್ (ಬಳಕೆದಾರ-ಏಜೆಂಟ್: *) ಅನ್ನು ಪ್ರವೇಶಿಸುತ್ತದೆ ಅದು /jenns-stuff.htm ಮತ್ತು / private.php (ನಿರ್ಲಕ್ಷಿಸು: / jenns-stuff.htm ಅನುಮತಿಸಬೇಡ: / private.php) ಅನ್ನು ನಿರ್ಲಕ್ಷಿಸಬೇಕೆಂದು ಹೇಳುತ್ತದೆ.
ನಿಮ್ಮ ಸೈಟ್ ಅನ್ನು ಪ್ರವೇಶಿಸುವುದರಿಂದ ನಿರ್ದಿಷ್ಟ ರೋಬೋಟ್ ತಡೆಯಿರಿ
ಬಳಕೆದಾರ-ಏಜೆಂಟ್: ಲೈಕೋಸ್ / xx
ಅನುಮತಿಸಬೇಡಿ: /
ಈ ಕಡತವು ಲಿಕೊಸ್ ಬೋಟ್ (ಬಳಕೆದಾರ-ಏಜೆಂಟ್: ಲೈಕೋಸ್ / xx) ಸೈಟ್ನಲ್ಲಿ ಎಲ್ಲಿಯಾದರೂ ಪ್ರವೇಶವನ್ನು ಅನುಮತಿಸುವುದಿಲ್ಲ ಎಂದು ಹೇಳುತ್ತದೆ (ಅನುಮತಿಸಬೇಡಿ: /).
ಕೇವಲ ಒಂದು ನಿರ್ದಿಷ್ಟ ರೋಬೋಟ್ ಪ್ರವೇಶವನ್ನು ಅನುಮತಿಸಿ
ಬಳಕೆದಾರ-ಏಜೆಂಟ್: *
ಅನುಮತಿಸಬೇಡಿ: /
ಬಳಕೆದಾರ-ಏಜೆಂಟ್: ಗೂಗಲ್ಬಾಟ್
ಅನುಮತಿಸಬೇಡ:
ಈ ಕಡತವು ಮೊದಲು ನಾವು ಮಾಡಿದಂತೆ ಎಲ್ಲಾ ರೋಬೋಟ್ಗಳನ್ನು ಅನುಮತಿಸುವುದಿಲ್ಲ ಮತ್ತು ನಂತರ Googlebot (ಬಳಕೆದಾರ-ಏಜೆಂಟ್: Googlebot) ಗೆ ಎಲ್ಲವನ್ನೂ ಪ್ರವೇಶಿಸಲು ಅವಕಾಶ ನೀಡುತ್ತದೆ (ಅನುಮತಿಸಬೇಡಿ:).
ನೀವು ಬಯಸುವ ಎಕ್ಸ್ಕ್ಲೂಶನ್ಸ್ ಅನ್ನು ಸರಿಯಾಗಿ ಪಡೆದುಕೊಳ್ಳಲು ಬಹು ಲೈನ್ಗಳನ್ನು ಸೇರಿಸಿ
ಬಳಕೆದಾರ-ಏಜೆಂಟ್ ನಂತಹ ಅತ್ಯಂತ ಅಂತರ್ಗತ ಬಳಕೆದಾರ-ಏಜೆಂಟ್ ಲೈನ್ ಅನ್ನು ಬಳಸುವುದು ಉತ್ತಮವಾಗಿದೆ: *, ನಿಮಗೆ ಇಷ್ಟವಾದಂತೆ ನೀವು ನಿರ್ದಿಷ್ಟಪಡಿಸಬಹುದು. ಯಂತ್ರಮಾನವರು ಕಡತವನ್ನು ಓದುವಂತೆ ನೆನಪಿಡಿ. ಹಾಗಾಗಿ ಎಲ್ಲಾ ರೊಬೊಟ್ಗಳು ಎಲ್ಲದರಿಂದ ನಿರ್ಬಂಧಿತವಾಗುತ್ತವೆ ಎಂದು ಮೊದಲ ಸಾಲುಗಳು ಹೇಳಿದರೆ, ನಂತರ ಫೈಲ್ನಲ್ಲಿ ಅದು ಎಲ್ಲ ರೋಬೋಟ್ಗಳು ಎಲ್ಲವನ್ನೂ ಪ್ರವೇಶಿಸಲು ಅನುಮತಿಸಲಾಗುವುದು, ರೋಬೋಟ್ಗಳು ಎಲ್ಲವನ್ನೂ ಪ್ರವೇಶಿಸಬಹುದು.
ನಿಮ್ಮ robots.txt ಫೈಲ್ ಅನ್ನು ನೀವು ಸರಿಯಾಗಿ ಬರೆದಿದ್ದೀರಾ ಎಂದು ನಿಮಗೆ ಖಾತ್ರಿಯಿಲ್ಲದಿದ್ದರೆ, ನಿಮ್ಮ robots.txt ಫೈಲ್ ಅನ್ನು ಪರೀಕ್ಷಿಸಲು ಅಥವಾ ಹೊಸದನ್ನು ಬರೆಯಲು ನೀವು Google ನ ವೆಬ್ಮಾಸ್ಟರ್ ಪರಿಕರಗಳನ್ನು ಬಳಸಬಹುದು.