อธิบายง่ายๆ ว่า Robots.txt คืออะไร ?
Robots หรือ อีกชื่อหนึ่ง ที่ทางนักพัฒนาเว็บทั่วโลก เรียก ได้แก่ "Web Wanderers" , "Crawlers" และ "Spiders" พวกนี้ คือ โปรแกรม ที่เราเขียนขึ้นมา เพื่อให้ไต่ไปอย่าง อิสระ
ของ Google เอง ก็ใช้ Robots อันนี้ มาทำงาน เพื่อใช้ ไต่ไปตามหน้า webpages ต่างๆ ที่เชื่อมโยงกันมา เพื่อมาจัดทำหน้า Index ใน Google นั่นเอง - เห็นไหมว่า Robots นี่เอง มีส่วนเกี่ยวข้อง กับเรื่อง SEO มากเลยทีเดียว สำคัญ ต้องเรียนรู้เอาไว้
และ การทำ Search Engine แต่ละสำนัก ก็คือพยายาม communicate กับ Robots ของค่ายนั้นๆ
เช่น อย่างให้ติด Search Engine ของ Yandex ค่าย รัสเซีย เพราะคนรัสเซียใช้กันเยอะมากๆ ก็พยายามไปหาแหล่งที่มี Robots ของ Yandex เข้าไปไต่บ่อยๆ อะไรแบบนั้นแหละครับ
ทางเทคนิค ลองเข้ามาเรียนรู้ที่ระบบ "The War Room"
Robots Standard - ภาษาของการไต่เว็บ
มาตรฐาน Robots Exclusion หรืออีกชื่อหนึ่ง เราเรียกว่า "Robots Exclusion Protocol"
อันนี้แหละ เราสามารถ control มันได้ด้วยการใส่ คำสั่งง่ายๆ เข้าไปใน File ที่ชื่อว่า "robots.txt" ไฟล์นี้ คนทำ SEO จะต้องเรียนรู้ให้เป็นอย่างดี โดยเฉพาะสายงานทางด้าน Technical SEO ต้องเข้าใจกระบวนการทำงานของ robots. และต้องเรียนรู้เรื่อง Page delay และการทำ rebot deley อันนี้เป็น trick ที่ทำให้เว็บเราได้เปรียบมากกว่าคู่แข่งได้เป็นอย่างดี
มาตรฐานของ robots.txt นี้เป็น มาตรฐานที่ websites ต่างๆ ใช้สื่อสารกับ web crawlers และเว็บโรบอทต่างๆ
คนทำ SEO ก็ต้อง คุยกับ robots บ่อยๆ จนอาจจะคุยกับคนธรรมดาไม่ค่อยเข้าใจ แต่สิ่งที่เราทำอย่างตั้งใจ คือพยายามเข้าใจ พฤติกรรมของ robot นั่นเอง [ความลับปกปิด]
robots นั้นถูกใช้งานบ่อยๆ จากพวก web search engine แต่เดี๋ยวนี้ พวก traffic tool หรือพวก เครื่องทุ่นแรงต่างๆ ของ ทางผู้ทำ SEO ก็ใช้ robot ตัวนี้บ่อยๆ
มี robots บางประเภท ที่เป็น robots สาย SEO Black Hat หรือพวก web spammers อาทิเช่น spambots หรือพวก robots ที่เข้ามาเก็บ e-mail ของเว็บต่างๆ อันนี้ ไม่ดี อย่าไปทำเลย หรือที่หนักๆ ก็พวก robot ที่มาเก็บเว็บแล้วปล่อย malware ก็มีมาก เราจึงต้อง แนะนำให้ผู้ดูแลเว็บ หมั่นทำการ Scan Security อย่างสม่ำเสมอ หากท่านที่ใช้ WordPress platform ที่มีการโ๗มตีของพวก spammers บ่อยๆ ก็แนะนำให้ลอง ติดตั้ง WordFende เป็น เครื่องมือที่จะช่วยแบ่งเบาภาระ และ เพิ่มความปลอดภัยได้ในระดับหนึ่ง (หาก Advance เรามีสอนที่ class room ของเรา)
robots ต่างๆ อาจมี method หรือ standard ที่ไม่เหมือนกันเสียทีเดียว สิ่งที่ต้องทำตามมาหลักจาก สร้างไฟล์ robots.txt แล้ว แนะนำให้ไปศึกษาเพิ่มเติม เรื่องของการทำ sitemaps เช่น sitemap.xml อันนี้เป็นการทำการเรียก โรบอทมาเก็บหน้าเว็บเพจของเราไปทำการจัดอันดับนั่นเอง
บทความ ที่ นักการตลาดออนไลน์ / นักทำ SEO / และ นักพัฒนาเว็บต้องเรียนรู้
Sources เกี่ยวกับ Robots.TXT
องค์กรกลาง ของ Robots.txt ลองเข้าไปศึกษา เพิ่มเติม และ ประวัติความเป็นมาของ robots.txt ได้ที่ Robotstxt.org
เข้าใจมาตรฐาน โรบอท / Robots exclusion standard - Wikipedia