La guía definitiva para optimizar WordPress Robots.txt - Calendae | Informática, Electrónica, CMS, Ciberseguridad

La guía definitiva para optimizar WordPress Robots.txt

Hola, un placer verte por aquí. En el teclado Samuel López y en el día de hoy vamos a hablar sobre La guía definitiva para optimizar WordPress Robots.txt

La guía definitiva para optimizar WordPress Robots.txt

Cuando crea un blog o sitio web en WordPress, se crea automáticamente un archivo robots.txt para cada una de sus páginas de destino y publicaciones. Este es un aspecto importante del SEO de su sitio web, ya que los motores de búsqueda lo utilizarán al rastrear el contenido de su sitio.

Si desea llevar el SEO de su sitio web al siguiente nivel, es importante optimizar el archivo robots.txt en su sitio de WordPress, pero, desafortunadamente, no es tan simple como agregar palabras clave a su contenido. Es por eso que hemos elaborado esta guía de robots.txt de WordPress para que pueda comenzar a refinarla y mejorar su clasificación de búsqueda.

¿Qué es un archivo Robots.txt?

Cuando clasifica los sitios web en las páginas de resultados de los motores de búsqueda (SERP), los motores de búsqueda como Google «rastrean» las páginas de los sitios web y analizan su contenido. El archivo robots.txt de cualquier sitio web le dice a los «bots» del rastreador qué páginas deben rastrear y cuáles no, esencialmente una forma de Automatización robótica de procesos (RPA).

Puede ver el archivo robots.txt de cualquier sitio web escribiendo /robots.txt después del nombre de dominio. Se verá así:

Analicemos cada uno de los elementos de la imagen de arriba.

Agente de usuario

El agente de usuario en un archivo robots.txt es el motor de búsqueda desde el que se leerá el archivo robots.txt. En el ejemplo anterior, el agente de usuario está marcado con un asterisco, lo que significa que se aplica a todos los motores de búsqueda.

La mayoría de los sitios web están contentos de que todos los motores de búsqueda rastreen su sitio, pero a veces es posible que desee evitar que todos los motores de búsqueda, excepto Google, rastreen su sitio o proporcionar instrucciones específicas sobre cómo los motores de búsqueda como Google News o Google Images rastrean su sitio web.

En este caso, debe averiguar el ID de agente de usuario de los motores de búsqueda que desea entrenar. Esto es bastante simple de encontrar Online, pero estos son algunos de los principales:

  • Google: robot de Google
  • Google News: Googlebot-News
  • Imágenes de Google: Googlebot-Image
  • Google Video: Googlebot-Video
  • Bing: Bingbot
  • Yahoo: Slurp Bot

Permitir y rechazar

En los archivos robots.txt, permitir y no permitir le dice a los bots qué páginas y contenido pueden y no pueden rastrear. Si, como se mencionó anteriormente, desea evitar que todos los motores de búsqueda, excepto Google, rastreen su sitio web, puede usar el siguiente archivo robots.txt:

La barra inclinada (/) después de «No permitir» y «Permitir» le dice al bot que puede rastrear todas las páginas o no. También puede insertar páginas específicas entre las barras para permitir o evitar que el bot las rastree.

mapa del sitio

El «mapa del sitio» en un archivo robots.txt es un archivo XML que contiene una lista y detalles de todas las páginas de su sitio web. Así parece:

El mapa del sitio contiene todas las páginas web que desea que el bot descubra. El mapa del sitio es especialmente útil si tiene páginas web que desea que aparezcan en los resultados de búsqueda, pero que no son páginas de destino típicas, como publicaciones de blog.

Los mapas del sitio son especialmente importantes para los usuarios de WordPress que esperan hacerlo vigorizar su sitio web con publicaciones de blog y páginas de categorías. Es posible que muchos de estos no aparezcan en las SERP si no tienen su propio mapa del sitio robots.txt.

Estos son los aspectos fundamentales de un archivo robots.txt. Sin embargo, debe tenerse en cuenta que robots.txt no es una forma segura de evitar que los robots de los motores de búsqueda rastreen determinadas páginas. Por ejemplo, si otro sitio usa textos de anclaje para vincular a una página que ha «rechazado» en su archivo robots.txt, los robots de los motores de búsqueda aún podrán rastrear esa página.

¿Necesita un archivo Robots.txt en WordPress?

Si tiene un sitio web o blog basado en WordPress, ya tendrá un archivo robots.txt generado automáticamente. Aquí hay algunas razones por las que es importante considerar su archivo robots.txt si desea asegurarse de tener un sitio de WordPress compatible con SEO.

Puede optimizar su presupuesto de escaneo

Un presupuesto de rastreo, o cuota de rastreo, es la cantidad de páginas que los robots de los motores de búsqueda rastrearán su sitio web en un día determinado. Si no tiene un archivo robots.txt optimizado, podría estar desperdiciando su presupuesto de rastreo y evitando que los bots rastreen las páginas de su sitio que desea que aparezcan primero en las SERP.

Si vende productos o servicios a través de su sitio de WordPress, lo ideal es que desee páginas con las mejores conversión de ventas para priorizar los robots rastreadores.

Puede priorizar sus páginas de destino importantes

Al optimizar su archivo robots.txt, puede asegurarse de que las páginas de destino que desea que aparezcan primero en las SERP sean rápidas y fáciles de encontrar para los robots rastreadores. Dividir el índice de su sitio en un índice de «páginas» y «publicaciones» es especialmente útil para esto, ya que puede asegurarse de que las publicaciones de su blog aparezcan en SERP en lugar de solo páginas de destino estándar.

Por ejemplo, si su sitio web tiene muchas páginas y la suya información de los clientes muestra que las publicaciones de su blog están generando muchas compras, puede usar mapas de sitio en el archivo robots.txt para asegurarse de que las publicaciones de su blog se muestren en las SERP.

Puede mejorar la calidad SEO general de su sitio web

Los especialistas en marketing son muy conscientes de las grandes ROI de optimización de motores de búsqueda. Canalizar búsquedas orgánicas a su sitio web centrándose en su SEO es más barato y, a menudo, más efectivo que los anuncios pagados y los enlaces de afiliados, aunque ambos siguen siendo útiles. Consulte estas estadísticas para ROI del canal de marketing.

La optimización de robots.txt no es la única forma de mejorar el ranking de búsqueda de su sitio web o blog. Seguirá necesitando contenido compatible con SEO en las propias páginas, que es posible que necesite SEO SaaS proveedor para ayudar. Sin embargo, editar el archivo robots.txt es algo que puede hacer fácilmente por su cuenta.

Cómo editar un archivo Robots.txt en WordPress

Si desea editar su archivo robots.txt en WordPress, hay varias formas de hacerlo. La mejor y más fácil opción es agregar un complemento a su sistema de administración de contenido: el panel de WordPress.

Agregue un complemento de SEO a su WordPress

Esta es la forma más sencilla de editar el archivo robots.txt de WordPress. Hay muchos buenos complementos de SEO que te permitirán editar el archivo robots.txt. Algunos de los más populares son Yoast, Rank Math y All In One SEO.

Agregue un complemento Robots.txt a su WordPress

También hay complementos de WordPress diseñados específicamente modificando el archivo robots.txt. Los complementos de robots.txt más populares son Virtual Robots.txt, WordPress Robots.txt Optimization y Robots.txt Editor.

Cómo probar el archivo WordPress Robots.txt

Si ha editado su archivo robots.txt, es importante probarlo para asegurarse de que no ha cometido ningún error. Los errores en su archivo robots.txt podrían hacer que su sitio web sea excluido de las SERP.

Google Webmaster tiene una herramienta de prueba de robots.txt que puede utilizar de forma gratuita para probar su archivo. Para usarlo, simplemente agregue la URL de su página de inicio. Aparecerá el archivo robots.txt y verá «advertencia de sintaxis» y «error lógico» en todas las líneas del archivo que no funcionan.

Luego, puede ingresar a una página específica de su sitio web y seleccionar un agente de usuario para ejecutar una prueba que mostrará si esa página está «aceptada» o «bloqueada». Puede editar su archivo robots.txt en la herramienta de prueba y volver a ejecutar la prueba si es necesario, pero tenga en cuenta que esto no cambiará su archivo real, deberá copiar y pegar la información modificada en su editor de robots.txt y guardarla allí. .

Cómo optimizar su archivo WordPress Robots.txt para SEO

La forma más sencilla de optimizar robots.txt es seleccionar las páginas que no desea permitir. En WordPress, las páginas típicas que puede que no permita son / wp-admin /, / wp-content / plugins /, /readme.html, /rastrear/.

Por ejemplo, un Marketing SaaS El proveedor tiene muchas páginas y publicaciones diferentes en su sitio de WordPress. Deshabilitar páginas como / wp-admin / Y / wp-content / plugins /, pueden asegurarse de que los rastreadores de bots prioricen las páginas que les gustan.

Cree mapas de sitio y agréguelos a su archivo Robots.txt

WordPress crea su propio mapa del sitio genérico cuando crea un blog o sitio web con él. Por lo general, se encuentra en example.wordpress.com/sitemap.xml. Si desea personalizar su mapa del sitio y crear mapas del sitio adicionales, debe usar un archivo robots.txt o un complemento de WordPress para SEO.

Puede acceder a su complemento desde el panel de WordPress y debe tener una sección para habilitar y editar su mapa del sitio. Los buenos complementos le permitirán crear y personalizar mapas de sitio adicionales, como un mapa de sitio de «páginas» y un mapa de sitio de «publicación» con facilidad.

Cuando sus mapas de sitio estén configurados, simplemente agréguelos a su archivo robots.txt así:

Adopta un enfoque minimalista

Si bien puede ser emocionante editar y optimizar su archivo robots.txt de WordPress, es importante tener un enfoque minimalista, menos es más. Esto se debe a que si desactiva las páginas de su sitio, evitará que los robots rastreadores busquen otras páginas en esas páginas. Esto podría significar que no se están descubriendo páginas clave y que la integridad estructural de su sitio se debilita desde la perspectiva de los robots de los motores de búsqueda.

Además, no es necesario «permitir» el acceso a todas las páginas de su sitio web en el archivo robots.txt. Los robots rastreadores ya descubrirán esas páginas; concéntrese en sus mapas de sitio y las páginas que necesita deshabilitar para que sus páginas clave se encuentren primero.

En esta guía, le proporcionamos todo lo que necesita saber sobre los archivos robots.txt de WordPress. Desde explicar qué son los archivos robots.txt hasta aprender más sobre por qué y cómo debería optimizar su archivo robots.txt para SEO, este artículo lo ayudará si desea encontrar formas simples y efectivas de mejorar el ranking de búsqueda de su sitio de WordPress.

Puedes compartir en tu Facebook para que tus colegas lo vean

??? ? ? ???

Comparte

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *