بازاریاب فروشگاه مجازی فروشگاه اینترنتی|آموزش بازاریاب فروشگاه مجازی|استراتژی بازاریابی مجازی|فروش آنلاین|آموزش تجارت کسب وکار اینترنتی|سئو|
موتورهای جستجو همانند گوگل ، یاهو و بینگ مایکروسافت برای برای یافتن و ایندکس کردن صفحات مختلف وب و سایت های موجود از روبات های جستجو که به spider , robot و یا crawler معروف هستنداستفاده می کننید . این روبوت ها با پیمایش خودکار در صفحات وب اطلاعات مربوط به صفحات رو بدست میارند و اونها رو به موتور جستجوی مربوطه ارسال میکنند . معمولا بر اساس اینکه یک سایت چند مدت به چند مدت آپدیت میشه تعداد دفعاتی که این روبات های جستجوگر در روز به سایت مراجعه می کنند متفاوته . صفحات موجود در سایتهای مختلف از لحاظ امنیتی و درجه حساسیت متفاوت هستند و شاید شما دوست نداشته باشید بعضی از صفحات (مثل صفحات مدیریتی و ادمین سایت) در موتورهای جستجو ایندکس بشه و آدرسش در این موتورها در اختیار عموم باشه . برای اینکه به موتورهای جستجو بگید چه صفحات یا فولدرهایی در سایت رو پیمایش و ایندکس کنه و اینکه چه صفحاتی رو ایندکس نکنه می تونید از یک فایل با نام robot.txt در ایندکس هاستینگ سایتتون و یا در پوشه ای خاص استفاده کنید تا به موتورهای جستجو بگید جا مجازید پیمایش کنید و کجا مجاز نیستید
در سایتی که از فایل robot.txt استفاده نشده باشه روبات های موتورهای جستجوهمه ی صفحات رو ایندکس می کنند در صورتی که با استفاده از این فایل میشه این ایندکس شدنها رو برای پوشه های مختلف کنترل کرد ! از این فایل همچنین برای جلوگیری از ایندکس شدن تکراری صفحات با url های مختلف استفاده میشه . :: خوب حالا که فهمیدید دلیل استفاده از فایل مهم robot.txt چی هست ، نحوه استفاده از اون رو براتون توضیح میدیم : فایل robot.txt یک فایل متنی ساده (دقیقا با همین نام و پسوند txt) است . در زیر چند تا از مهمترین دستوراتی که توی این فایل می تونید بیارید آوردم . User-agent در خط اول این فایل معمولا نوع روباتی که قراره محدودیت ایندکسینگ رو براش اعمال کنیم با دستور *:User-agent میاریم . به شکل زیر :
|
1
|
User–agent: *
|
علامت * میگه که همه ی ربات های پیمایشگر ، این دستورات براشون اعمال بشه . مثلا اگه بخواید بگید فقط روبات های گوگل این محدودیت ها رو داشته باشند ، این دستور رو به این شکل داریم :
|
1
|
User–agent: googlebot
|
اگر فایل فقط حاوی این خط باشه همچنان پیمایشگران محترم موتورهای جستجو بدون محدودیت به ایندکس کردن همه صفحات ادامه می دن . Disallowبرای جلوگیری از ایندکس شدن ادرس خاصی از سایت از دستور Disallow استفاده میشه . بزارید چندتا مثال بزنیم :
|
1
2
|
User–agent: googlebot
Disallow: /
|
این دوخط فوق باعث میشه که جلوی ایندکس شدن همه ی صفحات توسط روبوت های گوگل گرفته بشه .
|
1
2
|
User–agent: *
Disallow: /admin.php
|
در مثال فوق همه ی روبوت ها رو محدود میکنید که اجازه ایندکس کردن صفحه admin.php رو نداشته باشند .
|
1
2
3
4
|
User–agent: *
Disallow: /cgi–bin/
Disallow: /images/
Disallow: /private.html
|
در این مثال هم همه ی روبوت ها رو محدود میکنید که اجازه ایندکس کردن صفحه private.html و پوشه های cgi-bin و images رو نداشته باشند .
البته میتونید برای روبوت های مختلف محدودیت های مختلف تعیین کنید :
|
1
2
3
4
5
6
7
8
9
10
|
User–agent: *
Disallow: /cgi–bin/
Disallow: /admin/
Disallow: /private.html
User–agent: googlebot
Disallow: /images/
User–agent: BadBot
Disallow: /
|
Allow از دستور Allow هم معمولا برای اجازه دادن ایندکسینگ به زیرپوشه ای که درون یک پوشه Dissallow شده قرار داده استفاده میشه . مثال زیر رو ببینید :
|
1
2
3
|
User–agent: *
Disallow: /files/
Allow: /files/public/
|
در اینجا ما می گیم که روبات ها اجازه ایندکس کردن محتویات درون پوشه files رو ندارند به جز پوشه public که در پوشه files قرار داره !
robot.txt برای سایت های وردپرسی ! در زیر یک فایل مناسب برای استفاده وب سایت هایی که با وردپرس ساخته شدند آوردم . می تونید ازش استفاده کنید . میبینید که به پوشه های مدیریتی و حاوی فایل ها قالب و پلاگین ها و … اجازه دسترسی داده نشده .
|
1
2
3
4
5
6
7
8
9
10
|
User–agent: *
Disallow: /feed/
Disallow: /trackback/
Disallow: /wp–admin/
Disallow: /wp–content/
Disallow: /wp–includes/
Disallow: /xmlrpc.php
Disallow: /wp–
Sitemap: http://www.7Learn.com/Sitemap.xml
|
همونطور که در مثال بالا می بینید می تونید به این طریق Sitemap سایت خودتون رو هم در این فایل قرار بدید تا در معرض دید روبات ها باشه . انشاءالله در آینده در مورد فایل sitemap و دلایل استفاده از اون هم صحبت خواهیم کرد .
robot.txt برای سایت های پیاده سازی شده با جوملا !
|
1
2
|
User–agent: *
Disallow: /component
|
منبع:سون لرن
Thanks for your personal marvelous posting! I seriously enjoyed reading it,
you may be a great author. I will be sure to bookmark your blog and will come back later in life.
I want to encourage that you continue your great work, have a
nice evening!
ofcourse. thank you