A robots.txt فائل توهان جي ويب سائيٽ جي روٽ ۾ محفوظ ڪيل ويب روبوٽس وانگر ڳولا انجڻ مماحثرن کي ٻڌائي ٿو ته ڪهڙي ڊراماز ۽ فائلون جيڪي ان کي کولڻ جي اجازت ڏين ٿيون. اهو هڪ robots.txt فائل استعمال ڪرڻ آسان آهي، پر ڪجهه شيون جيڪي توهان کي ياد رکڻ گهرجي:
- ڪارو ٿيل ٽوپ ويب روبوٽ توهان جي روبوٽس.txt فائل کي نظرانداز ڪندو. عام طور تي عام قسم جا مالويئر بوٽ آهن ۽ روبوٽ فصلن ڏانهن اي ميل پتي جي ڳولها آهن.
- ڪجهه نئين پروگرامن وارا روبوٽ لکندا آهن جيڪي روٽٽس.txt فائل کي نظر انداز ڪندا آهن. اهو عام طور تي غلطي سان ڪيو ويندو آهي.
- ڪنھن کي پنھنجي روبوٽس.txt فائل ڏسي سگھو ٿا. اهي هميشه کي robots.txt سڏيندا آهن ۽ هميشه ويب سائيٽ جي روٽ ۾ محفوظ ڪيون وينديون آهن.
- آخرڪار، جيڪڏهن ڪو ماڻهو ڪا فائيل يا ڊائريڪٽري سان ڪڙي ٿو جيڪا توهان جي روٽٽس.txt فائل جي طرفان شامل نه آهي جيڪا پنهنجي روٽٽس.txt فائل طرفان خارج ٿيل آهي، جيڪا خارج ٿيل نه آهي ان جي روٽٽس.txt فائل طرفان، ڳولا واري انجنيئر به ان کي ڳولي سگهي ٿي.
ڪجهه شيء لڪائڻ لاء robots.txt فائلون استعمال نه ڪريو. ان جي بدران، توهان کي ضروري معلومات جي پويان اهم پاسورڊ رکڻ گهرجي يا ويب کي مڪمل طور تي ڇڏڻ گهرجي.
यी نموني فائلن کي ڪيئن استعمال ڪجي
نموني مان لکڻي نقل ڪريو جيڪو توهان چاهيو ٿا اهو ويجهي آهي، ۽ ان کي پنهنجي robots.txt فائل ۾ چسپلي ڪريو. توهان جي ترجيحاتي ترتيب واري ميچ کي مادو ڪرڻ لاء روبوٽ، ڊاريڪٽري، ۽ فائل جا نالا تبديل ڪريو.
ٻن بنيادي روبوٽس.txt فائلون
استعمال ڪندڙ وڪيل: *
اجازت ڏيو: /
هي فائيل چوي ٿو ته ڪنهن به روبوٽ (صارف-نمائندو: *) جيڪو ان تائين پهچائي ٿو ته ان سائيٽ تي هر صفحي کي ناپسند ڪيو وڃي (Disallow: /).
استعمال ڪندڙ وڪيل: *
اجازت ڏيڻ
هي فائيل چوي ٿو ته ڪنهن به روبوٽ (صارف-نمائندو: *) جيڪو ان کي رسائي ٿو ان کي سائيٽ تي هر صفحي کي ڏسڻ جي اجازت آهي (Disallow:).
توهان پڻ پنهنجي روٽٽس.txt فائل کي خالي ڪندي ڇڏڻ يا پنهنجي سائيٽ تي هڪ نه هجڻ سان ڪري سگهو ٿا.
روبوٽس کان مخصوص ڊائريڪٽرن کي تحفظ ڪريو
استعمال ڪندڙ وڪيل: *
اجازت ڏيو: / cgi-bin /
اجازت ڏيو: / temp /
هي فائيل چوي ٿو ته ڪنهن به روبوٽ (صارف-نمائندو: *) جيڪو ان کي رسائي ڏئي ٿو ان کي ڊائريڪٽري / سگي-بي / ۽ / temp / (رد ڪرڻ: / cgi-bin / Disallow: / temp /) کي نظر انداز ڪرڻ گهرجي.
روبوٽس کان مخصوص پناھ محفوظ ڪريو
استعمال ڪندڙ وڪيل: *
اجازت ڏيو: /jenns-stuff.htm
نااهل: /private.php
هي فائيل چوي ٿو ته ڪنهن به روبوٽ (صارف-نمائندو: *) جيڪا ان کي رسائي ڏئي ٿي، فائلن / جينس-stuff.htm ۽ /private.php (Disallow: /jenns-stuff.htm Disallow: /private.php) کي نظر انداز ڪرڻ گهرجي.
توهان جي سائيٽ تائين رسائي حاصل ڪرڻ کان مخصوص روبوٽ روڪيو
استعمال ڪندڙ: نمائندو / xx
اجازت ڏيو: /
هي فائيل چوي ٿو ته ليڪس بوٽ (صارف-نمائندو: Lycos / xx) جي سائيٽ تي ڪٿي به رسائي جي اجازت ناهي (Disallow: /).
اجازت رڳو ھڪڙي مخصوص مخصوص روبوٽ رسائي
استعمال ڪندڙ وڪيل: *
اجازت ڏيو: /
استعمال ڪندڙ جو نمائندو: Googlebot
اجازت ڏيڻ
اهو فائل پهريون ڀيرو سڀني روبوٽ جهڙوڪ اسان جي مٿان رکندي آهي، ۽ انهي سان واضح طور تي گوگل بٽ (صارف-ايجنٽ: Googlebot) هر شي تائين رسائي ڪري ٿي (Disallow:).
Multiple Lines سان گڏ ٺٺوليون حاصل ڪرڻ لاء اهي نتيجا جيڪي توهان چاهيو ٿا
جيتوڻيڪ اهو تمام گهڻن صارف وارو صارف-ايجنٽ لائين استعمال ڪرڻ بهتر آهي، جهڙوڪ صارف-ايجنٽ: *، توهان خاص طور تي پسند ڪري سگهو ٿا. ياد رهي ته روبوٽ فائيل ۾ پڙهڻ پڙهي. پوء جيڪڏهن پهرين لينن جو چوڻ آهي ته سڀئي روبوٽس هر شيء کان روڪي رهيا آهن، ۽ انهي کان پوء بعد ۾ فائل ان کي چوي ٿو ته سڀني روبوٽس هر شيء تائين رسائي جي اجازت هوندي آهي، روبوٽس هر شيء تائين رسائي هوندي.
جيڪڏهن توهان پڪ ناهي ته توهان پنهنجي روبوٽس.txt فائل صحيح طريقي سان لکيا آهيو، توهان پنهنجي روٽٽس.txt فائلن کي ڳولڻ لاء نئين ويب لکڻ جي استعمال ڪري گوگل جي ويب ماسٽر اوزار استعمال ڪري سگهو ٿا.