آموزش نحوه ساخت فایل ربات robots.txt بهینه

امروز می خواهیم در زمینه فایل robot سایت برای شما صحبت کنیم فایلی که برای ارتقاء سئو وردپرس بسیار با ارزش است پس اگر می خواهید این فایل را بهینه سازی کنید و یا از اهمیت آن مطلع گردید با ما همراه باشید.

بهینه سازی robots.txt برای ارتقاء سئو

این فایل به شما این اجازه را می دهد که با موتورهای جستجو ارتباط داشته باشید و با استفاده از این فایل است که موتورهای جستجو متوجه خواهند شد که کدام بخش از سایت در جستجو وجود دارد. لازم به ذکر است که در صورتی که این فایل وجود نداشته باشد مشکلی را ایجاد نخواهد کرد ولی بهتر است که آن را ایجاد کنید چرا که اگر بخواهید نقشه سایت خود را در موتورهای جستجو ثبت کنید به این فایل نیاز دارید چرا که موتورهای جستجو در این فایل به دنبال نقشه سایت خواهند بود.
فایل robot.txt در دایرکتوری سایت شما موجود است فقط کافی است وارد مدیریت فایل های خود در هاست شوید این فایل یک فایل متنی است که شما می توانید آن را در نود پت باز کرده و ویرایش کنید.
در صورتی که این فایل را نیافتید و یا در سایت شما وجود نداشت باید یک فایل متنی ایجاد کرده و با نام robot. txt ذخیره نمایید سپس وارد سرور شده و آن را آپلود کنید.
اولین خط این فایل user agent می باشد که نام ربات جستجویی است که شما می خواهید با آن در ارتباط باشید خط بعدی اجزای اجرای دستورات را به موتورها می دهد و با همین خط هاست که موتورها میفهمند کدام بخش های سایت را باید در نتایج قرار دهند.
کد های فایل robot به صورت زیر است:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /readme.html

در خط دوم به موتورها اجازه دادیم تا دایرکتوری آپلودها را در نتایج قرار دهد و در خط های بعدی امکان قرار دادن صفحات افزونه ها و readme. Html را در نتایج به موتورها جستجو ندادیم.

بهینه سازی robot

افزونه های بسیاری برای انجام این کار است که اصولا تمام افزونه های سئو می توانند این کار را انجام دهند با استفاده از این افزونه ها می توانید برچسب های متا مانند noindex،nofollow را اضافه کنید توجه داشته باشید نباید صفحه ورود و ادمین و صفحه ثبت نام را به این فایل بیفزاییم چرا که این صفحات به طور پیش فرض در وردپرس وجود دارند.
فایل readme. Html را در robot. Txt نوفالو کنید چرا که افراد سودجو ممکن است بخواهند با این فایل نسخه سایت شما را بدانند چرا که این تمام افراد می توانند به این فایل دسترسی داشته باشند و با نوفالو کردن آن از بسیاری از حملات در امان هستید برای افزایش امنیت سایت خود می توانید دایرکتوری افزونه ها را نیز نوفالو نمایید.
افزونه نقشه سایت به فایل ربات
اگر در سایت خود از افزونه سئو yoast استفاده می کنید خود افزونه نقشه سایت را ایجاد خواهد کرد و با کد های زیر آن را به فایل ربات اضافه می کند.
کد های فایل robot به صورت زیر است:

Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

ویژگی های فایل ربات

تمام سایت های بزرگ و معتبر از فایل ربات ساده استفاده می کنند و معمولا کد فایل آنها به صورت زیر است:
کد های فایل robot به صورت زیر است:

User-agent: *
Disallow:
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

این کدها موجب می شوند تا تمام محتوای سایت توسط موتورهای جستجو در نتایج قرار گیرند و همچنین لینک ها در نقشه سایت ثبت شوند.
امیدوارم این مقاله نیز مفید بوده باشد – شاد باشید .

دیگر مقاله های سئو وردپرس را دنبال کنید