• Skip to main content
  • Skip to header right navigation
  • Skip to site footer

Antonio Pérez

Full Stack developer

  • Home
  • Sobre mi
  • Podcast
  • Blog
  • Contacto
desarrollo full stack

Añadir robots.txt dinámico a tu App con Ruby on Rails

You are here: Home / Ruby on Rails / Añadir robots.txt dinámico a tu App con Ruby on Rails
10/01/2017 by apcano1978

Voy a guiarte en el proceso para añadir de forma sencilla y en muy pocos pasos el archivo robots.txt a tu app de Ruby on Rails. Es un proceso muy sencillo que te ayudará a hacer que tu app sea mucho más profesional y gestiones mejor como los bots indexan e investigan tu página web.

No voy a enrollarme con preliminares, vamos a llenarnos las manos de tierra y a picar (código, claro está)

1.- Generar la ruta en routes.rb

Efectivamente, primero, como de costumbre, generaremos la ruta en el archivo routes.rb que llevará al archivo robots.txt:

# Archivo config/routes.rb

get '/robots.:format' => 'welcome#robots'

Aquí solo una apreciación, yo suelo situarlo dentro de la carpeta welcome, que es la que suelo generar para generar vistas abiertas al público estándar como el sobre nosotros o las condiciones legales de la web, aunque puedes usar la que quieras ten en cuenta que debes ser consistente a la hora de situar el controlador y demás, como veremos ahora.

2.- Ajustar nuestro robots.txt en su controlador

Ahora vamos a hacer que el archivo robots solo responda al formato .txt en el controlador:

# app/controllers/welcome_controller.rb

def robots
  respond_to :text
  expires_in 6.hours, public: true
end

3.- Crear la vista y generar el contenido del archivo robots.txt

#app/views/robots.text.erb

<% if Rails.env.production? %>
  User-Agent: *
  Allow: /
  Disallow: /admin
  Sitemap: http://www.yourdomain.com/sitemap.xml
<% else %>
  User-Agent: *
  Disallow: /
<% end %>

Básicamente lo que hemos hecho aquí es que cuando estemos en desarrollo queremos que bloquee todos los bots, en producción haremos que solo bloquee la carpeta admin, que es donde tendremos todo el área de administración de la web, la cual no tiene demasiado sentido indexar y demás.

Ya solo te falta un pequeño detalle, en la carpeta public de tu aplicación de rails hay un archivo robots.txt que debes eliminar, de esta manera evitarás cualquier posible conflicto.

Y así de sencillo es crear tu archivo robots.txt para tu app hecha con Ruby on Rails, espero vuestra avalancha de comentarios al respecto.

Categoría: Desarrollo Back End, Desarrollo web, Ruby on Rails, SEO

About apcano1978

Intento nadar entre frameworks, IDEs, SDKs… Algunos lo llaman Full stack developer, yo creo que es solo un eufemismo para decir «el que está en medio de todos los follones» Ruby on Rails y Angular … y bastante tengo …

Previous Post:como habilitar los shortcodes en los widgetsCómo hacer que funcionen los shortcodes en los widgets de WordPress
Next Post:Cómo redireccionar todo el tráfico a https y al dominio raiz con Ruby on RailsRedireccionar todo a https

Reader Interactions

Deja una respuesta Cancelar la respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Ahora también en youtube

Ve al canal

Copyright © 2023 · Antonio Pérez · All Rights Reserved · Powered by Mai Theme