워드프레스를 운영하시는 분들은 robots.txt 파일이라는 한 번쯤 들어보셨을 것입니다. robots.txt 파일의 기능은 무엇일까요? robots.txt의 기능 및 생성하는 방법을 살펴보도록 하겠습니다.
robots.txt 기능
각종 검색엔진에서 자신이 운영하는 웹 사이트(워드프레스)를 신규 등록할 때 해당 검색엔진에서 사이트의 유효성을 체크하는 경우 사용합니다. 대표적으로 다음웹마스터 등록 시에서도 해당 방법을 사용합니다. 자신의 워드프레스 색인을 위해서 robots.txt를 사용한다고 생각하시면 될 것 같습니다.
robots.txt 생성
robots.txt를 생성하거나 수정하는 방법에는 여러가지가 있습니다. SFTP를 이용해서 파일을 업로드하거나 직접 터미널로 접속해서 생성 및 수정이 가능합니다. 하지만, 초보자들에게는 이 방법이 쉽지 않습니다. 가장 쉬운 방법중의 하나가 워드프레스 SEO 플러그인을 이용하는 방법이 있습니다. Rank Math 플러그인이나 요스트(Yoast) SEO 플러그인을 사용하면 간편하게 수정가능 합니다. 여기서는 Yoast SEO 플러그인을 사용해서 수정하는 방법을 살펴보도록 하겠습니다.
요스트(Yoast) SEO 플러그인 Robots.txt
1. 워드프레스 관리자 화면으로 로그인 후 Yoast SEO 메뉴의 Tools 메뉴를 클릭합니다.
2. File editor를 선택합니다. File editor 설명을 살펴보면 robots.txt를 변경 가능하다고 나와있습니다.
3. robots.txt 내용을 수정하고, 좌측 하단의 Save changes to robots.txt를 클릭하여 변경 사항을 저장합니다.
위의 예제는 요스트(Yoast) SEO를 이용해서 생각보다 쉽고 빠르게 robots.txt 파일을 수정할 수 있었습니다. 다른 대부분의 SEO 플러그인들도 해당 기능을 제공하여 비슷한 방법으로 수정가능합니다.