چگونه فایل robots.txt وردپرس خود را برای سئو بهینه کنید؟

چکیده

فایل robots.txt راه حلی مرسوم برای محدود کردن و یا دسرس پذیر ساختن شاخه های مختلف سایت شما برای موتورهای جستجو است. می توانید از طریق آن بعضی قسمت های سایت خود را از چشم موتورهای جستجو مخفی کنید و یا بخشی از نقشه ی سایتتان را که می خواهید سریعا کاوش شوند معرفی کنید. در ادامه می توایند توضیحات کاملی را در این رابطه بخوانید.

فهرست مطالب

عضویت در خبرنامه

اشتراک گذاری

شرح مطلب

اخیراً یکی از خواننده‌های ما درباره‌ی چگونگی بهینه‌سازی فایل robots.txt برای سئو سؤالی مطرح کرده است. این فایل موتور‌های جستجو را از چگونگی کاوش در وب‌سایت شما آگاه می‌کند که این عمل از فایل robots.txt یک ابزار قدرتمند سئو می‌سازد. در این مطلب به شما آموزش می‌دهیم که چگونه یک فایل robots.txt ایده‌آل برای سئو بسازید.

فایل robots.txt چیست؟

robots.txt یک فایل نوشتاری است که به موتورهای جستجو می‌گوید چگونه وب‌سایت پیمایش شود و صفحات وب‌سایت را ایندکس کند. این فایل به طور معمول در شاخه‌ی اصلی فایل‌های سایت، یا همان پرونده اصلی، ذخیره می‌شود. چارچوب اصلی برای یک فایل robots.txt به شکل زیر است:

نمونه robots.txt

شما می‌توانید چندین خط دستورالعمل جهت تعیین دسترسی یا عدم دسترسی به یک آدرس خاص معرفی کرده و چندین نقشه سایت ایجاد کنید. اگر برای یک آدرس خاص عدم دسترسی معرفی نکنید، بات‌های موتور‌های جستجو آن را به عنوان آدرس قابل کاوش در نظر می‌گیرند.

در قسمت پایین نمونه‌ای از یک فایل robots.txt قرار داده شده است.

User-Agent: *

Allow: /wp-content/uploads/

Disallow: /wp-content/plugins/

Disallow: /wp-admin/

Sitemap: https://example.com/sitemap_index.xml

در مثال بالا از فایل robots.txt ما امکان کاوش فایل‌ها را در پرونده‌ی بارگذاری وردپرس برای موتور‌های جستجو فراهم کرده‌ایم. سپس دسترسی بات‌های جستجو برای کاوش و ایندکس افزونه‌ها و پرونده admin وردپرس غیرمجاز لحاظ شده است. در نهایت آدرس نقشه سایت XML را ارائه کرده‌ایم.

آیا در وب‌سایت وردپرس خود به فایل robots.txt نیاز دارید؟

اگر این فایل در وب‌سایت شما وجود نداشته باشد، موتور‌های جستجو همچنان سایت شما را کاوش کرده و ایندکس می‌کنند. با این حال شما امکان تعیین صفحات و پرونده‌های غیرمجاز برای کاوش را نخواهید داشت. این موضوع در شروع ساخت یک بلاگ و بامحتوای کم، تأثیر چندانی نخواهد داشت. اما با رشد وب‌سایت شما و افزایش محتوای آن، نیاز به کنترل بیشتر روی چگونگی کاوش وب‌سایت و ایندکس آن احساس می‌شود.

به این نکته توجه کنید که بات‌های جستجو برای هر وب‌سایت سهمیه کاوش دارند. به این معنا که در هر دوره آنها تعداد مشخصی از صفحات را مورد کاوش قرار می‌دهند. در صورتی که کاوش تمامی صفحات وب‌سایت شما انجام نشود، ادامه‌ی این کاوش در دوره بعدی انجام خواهد گرفت. این عمل باعث کاهش سرعت ایندکس وب‌سایت شما خواهد شد. می‌توانید با غیرمجاز کردن صفحات غیرضروری مانند صفحه ادمین، فایل‌های افزونه‌ها و پرونده‌ی قالب‌ها، برای بات‌های جستجو، از این امر جلوگیری کنید.

با غیرمجاز کردن صفحات غیرضروری شما در سهمیه سایت خود صرف جویی کرده‌اید. این عمل فرصت را برای کاوش صفحات بیشتر و ایندکس آنها در اسرع وقت فراهم می‌کند. مزیت دیگر استفاده از robots.txt هنگام درخواست توقف ایندکس کردن یک صفحه یا یک پست از موتورهای جستجو نمایان می‌شود. این روش امن‌ترین راه برای پنهان کردن محتوا از عموم نیست، اما به جلوگیری از نمایش آنها در نتایج جستجو‌ها کمک می‌کند.

یک فایل ایده‌آل robots.txt چگونه است؟

بسیاری از بلاگ‌های مشهور از یک  robots.txt ساده استفاده می‌کنند. محتوای این فایل بسته به نیاز‌های هر سایت متفاوت است:

User-agent: *

Disallow:

Sitemap: http://www.example.com/post-sitemap.xml

Sitemap: http://www.example.com/page-sitemap.xml

این فایل  robots.txt به همه‌ی بات‌ها اجازه می‌دهد تا تمام محتوا را ایندکس کرده و برای آنها آدرسی به نقشه سایت XML فراهم کند. ما قوانین زیر را برای لحاظ کردن در فایل  robots.txt سایت‌های وردپرس پیشنهاد می‌کنیم:

User-Agent: *

Allow: /wp-content/uploads/

Disallow: /wp-admin/

Disallow: /readme.html

Disallow: /refer/

Sitemap: http://www.example.com/post-sitemap.xml

Sitemap: http://www.example.com/page-sitemap.xml

این بخش به بات‌های جستجو دستور ایندکس کردن تمامی عکس‌ها و فایل‌های وردپرس را می‌دهد. همچنین، قسمت admin وردپرس، فایل readme و آدرس‌های وابسته‌ی پنهان شده را برای بات‌های جستجو غیرمجاز در نظر می‌گیرد. با اضافه کردن نقشه‌ی سایت به فایل  robots.txt روند پیدا کردن صفحات وب‌سایت شما برای بات‌های گوگل آسان‌تر می‌شود. اکنون که با robots.txt ایده‌آل آشنا شدید، چگونگی ساخت فایل  robots.txt را در وردپرس برسی می‌کنیم.

چگونه یک فایل robots.txt در وردپرس بسازیم؟

دو روش برای ساخت فایل robots.txt در وردپرس وجود دارد. می‌توانید به دلخواه یکی از این دو روش را امتحان کنید.

روش اول: تغییر فایل robots.txt به کمک ابزار All in One SEO

All in One SEO که با نام AIOSEO نیز شناخت شده است، جز بهترین افزونه‌های وردپرس با بیش از دو میلیون نصب در وب‌سایت‌های مختلف است. استفاده از آن ساده است و یک تولیدکننده فایل robots.txt در آن ارائه شده است.

پس از نصب و راه‌اندازی افزونه می‌توانید عملیات ساخت و تغییر فایل robots.txt خود را مستقیماً از قسمت admin وردپرس انجام دهید. مسیر فایل در زیر توضیح داده شده است.

مراحل بهینه سازی robots.txt در AIOSEO 1

در مرحله اول باید امکان تغییر را فعال کنید. برای این کار دکمه Enable Custom Robots.txt را بزنید و روشن کنید. اکنون می‌توانید یک فایل robots.txt در وردپرس بسازید.

مراحل بهینه سازی robots.txt در AIOSEO 2

این افزونه فایل‌های robots.txt  موجود را در قسمت Robots.txt Preview در پایین صفحه به شما نشان می‌دهد. در این نسخه قوانین پیش‌فرض اضافه شده با وردپرس نیز نمایش داده می‌شود. 

مراحل بهینه سازی robots.txt در AIOSEO 3

این قوانین پیش‌فرض به موتور‌های جستجو اطلاع می‌دهد که فایل‌های هسته‌ی وردپرس را مورد کاوش قرار ندهند. همچنین به بات‌ها اجازه ایندکس تمامی محتوا را داده و ارائه یک آدرس از نقشه سایت XML وب‌سایت شما را انجام می‌دهد. اکنون می‌توانید قوانین دلخواه خود جهت بهبود robots.txt برای سئو را اضافه کنید. جهت اضافه کردن قانون، یک user agent در بخش User Agent وارد کنید. با استفاده از * می‌توانید قانون را بر تمام user agentها اعمال کنید. سپس می‌توانید اجازه یا عدم اجازه موتور‌های جستجو را برای کاوش تعیین کنید. در مرحله بعد اسم فایل یا مسیر آن را در بخش Directory Path وارد کنید.

مراحل بهینه سازی robots.txt در AIOSEO 4

هر قانون به صورت خودکار بر تمامی فایل‌های robots.txt اعمال می‌شود. جهت اضافه کردن قانون جدید روی دکمه Add Rule کلیک کنید. بهتر است این روال را تا ساخت یک فایل robots.txt ایده‌آل، شبیه آنچه که در قسمت بالا ارائه شد، ادامه دهید. قوانین شما در نهایت به شکل زیر در خواهند آمد.

مراحل بهینه سازی robots.txt در AIOSEO 5

پس از پایان، جهت ذخیره تغییرات دکمه Save Changes را کلیک کنید.

روش دوم: تغییر فایل robots.txt به صورت دستی از طریق FTP

در این روش نیاز به استفاده از یک کاربر FTP جهت تغییر فایل robots.txt دارید. به کمک یک کاربر FTP به اکانت هاست سایت وردپرس خود وارد شوید. پس از ورود، می‌توانید فایل robots.txt را در پوشه اصلی وب‌سایت خود ببینید.

اگر فایل در این آدرس دیده نشد، احتمالاً این فایل را ندارید. پس می‌توانید آن را ایجاد کنید.

Robots.txt یک فایل نوشتاری خام است، در نتیجه می‌توانید آن را در کامپیوتر خود دانلود کرده و با برنامه‌های مختلف مثل notepad تغییر دهید. پس از ذخیره تغییرات، می‌توانید دوباره فایل را به پوشه اصلی وب‌سایت آپلود کنید.

چگونه فایل robots.txt خود را تست کنیم؟

پس از ایجاد فایل robots.txt ، بهتر است همیشه به کمک یکی از ابزار‌های تست، از عملکرد آن مطمئن شوید. ابزار‌های زیادی برای این کار تولید شده‌اند؛ اما توصیه ما استفاده از ابزار موجود در کنسول جستجو گوگل است (Google Search Console).

در مرحله اول باید وب‌سایت خود را به کنسول جستجو گوگل متصل کنید. سپس می‌توانید از ابزار تست کنسول جستجو گوگل استفاده کنید. 

همان‌طور که می‌بینید ابزار به شکل خودکار فایل robots.txt وب‌سایت شما را گرفته و در صورت وجود، خطا‌ها یا اخطار‌ها را مشخص می‌کند.

سخن نهایی

هدف بهینه‌سازی فایل robots.txt جلوگیری از موتور‌های جستجو جهت کاوش صفحاتی است که به صورت عمومی در دسترس نیستند. به عنوان مثال، صفحات موجود در پرونده wp-plugins شما یا صفحات در پرونده admin وردپرس. یک باور غلط در بین متخصصان سئو این است که جلوگیری از دسته‌بندی‌های وردپرس، تگ‌ها، و صفحات آرشیو باعث بهبود نرخ کاوش شده و به ایندکس سریع‌تر و رتبه‌بندی بالاتر می‌انجامد .این باور غلط و بر خلاف اصول وب‌سایت گوگل است. ما پیشنهاد می‌کنیم که مسیر بالا را برای تغییر یا ایجاد یک فایل robots.txt در سایت خود طی کنید. امیدواریم که این مطلب به بهینه‌سازی فایل robots.txt وردپرس شما و سئو آن کمک کرده باشد.

مطالب مشابه

آموزش
بهترین طراحی وب سایت‌ به انتخاب المنتور در آپریل ۲۰۲۲

المنتور همواره به عنوان یکی از محبوب‌ترین ابزار‌های طراحی وبسایت در چارچوب وردپرس شناخته شده است. این شرکت موفق به صورت منظم مجموعه‌ای از طراحی‌های برگزیده ی خود را در قالب ماهنامه ارائه می دهد. در این مطلب مروری بر وبسایت‌های برگزیده ی المنتور و ماهنامه ی آپریل ۲۰۱۲ آن خواهیم داشت.

ادامه مطلب »
آموزش
چگونه فایل robots.txt وردپرس خود را برای سئو بهینه کنید؟

فایل robots.txt راه حلی مرسوم برای محدود کردن و یا دسرس پذیر ساختن شاخه های مختلف سایت شما برای موتورهای جستجو است. می توانید از طریق آن بعضی قسمت های سایت خود را از چشم موتورهای جستجو مخفی کنید و یا بخشی از نقشه ی سایتتان را که می خواهید سریعا کاوش شوند معرفی کنید. در ادامه می توایند توضیحات کاملی را در این رابطه بخوانید.

ادامه مطلب »

با ما تماس بگیرید