Sơ đồ trang XML chỉ nên chứa địa chỉ chuẩn trả mã 200; địa chỉ đang chuyển hướng phải được loại ra. Sơ đồ trang là lời nhắn "đây là các trang bạn nên lập chỉ mục". Khi lời nhắn đó chứa địa chỉ đang chuyển hướng, máy tìm kiếm nhận hai tín hiệu trái nhau: sơ đồ trang nói hãy lập chỉ mục địa chỉ cũ, còn máy chủ nói địa chỉ cũ đã chuyển đi.
Hậu quả hiếm khi nghiêm trọng ngay, nhưng tích lại: lượt thu thập bị phí vào địa chỉ cũ, báo cáo lập chỉ mục đầy dòng "trang có lệnh chuyển hướng", và mức tin cậy của sơ đồ trang trong mắt máy tìm kiếm giảm. Bài này giải thích vì sao địa chỉ chuyển hướng lọt vào sơ đồ trang, cách lọc chúng, và ngoại lệ ngắn hạn khi chuyển site. Phần cơ bản về sơ đồ trang XML không nhắc lại.
Vì sao địa chỉ chuyển hướng lọt vào sơ đồ trang
Nguyên nhân phổ biến nhất là sơ đồ trang được sinh từ cơ sở dữ liệu theo trường đường dẫn của bài, nhưng chuyển hướng lại được cấu hình ở nơi khác: tệp .htaccess, khối cấu hình nginx, quy tắc ở CDN hay một plugin quản lý chuyển hướng. Hai nơi không biết gì về nhau. Bài viết đổi đường dẫn, chuyển hướng được thêm, nhưng sơ đồ trang tĩnh vẫn giữ dòng cũ vì không ai sinh lại.
Nguyên nhân thứ hai là biến thể địa chỉ. Sơ đồ trang ghi http:// trong khi site đã chuyển hết sang https; ghi có www trong khi địa chỉ chuẩn không có; ghi không có dấu gạch chéo cuối trong khi máy chủ thêm vào. Mỗi dòng đều trỏ vào một lần chuyển hướng, dù nội dung vẫn đúng trang. Lỗi này thường xuất hiện sau khi chuẩn hoá HTTPS hay www mà quên cấu hình địa chỉ gốc trong phần mềm sinh sơ đồ trang.
Nguyên nhân thứ ba là sơ đồ trang ghép từ nhiều nguồn: một phần do nền tảng tự sinh, một phần do người làm SEO tải lên tay từ nhiều năm trước, một phần do ứng dụng khác như cửa hàng hay diễn đàn cùng tên miền. Tệp chỉ mục sơ đồ trang trỏ tới cả những tệp con đã lỗi thời. Không ai dám xoá vì không biết tệp nào còn được dùng.
Tác động thật của địa chỉ chuyển hướng trong sơ đồ trang
Tín hiệu chọn địa chỉ chuẩn bị loãng. Google dùng việc có mặt trong sơ đồ trang như một trong các tín hiệu chọn bản chính. Khi sơ đồ trang ghi địa chỉ cũ còn chuyển hướng chỉ sang địa chỉ mới, hai tín hiệu đánh nhau. Chuyển hướng thường thắng, nhưng không phải mọi trường hợp.
Lượt thu thập bị phí. Với site nhỏ, điều này gần như không đáng kể. Với site hàng trăm nghìn trang, hàng chục nghìn dòng cũ trong sơ đồ trang có thể làm con bọ tốn thời gian vào chỗ không cần, trang mới được phát hiện chậm hơn.
Báo cáo mất giá trị. Khi báo cáo lập chỉ mục của tệp sơ đồ trang đầy dòng "trang có lệnh chuyển hướng" hay "không được lập chỉ mục", bạn không còn nhận ra trang nào bị loại vì lý do thật đáng lo.
Mức tin cậy của sơ đồ trang giảm. Máy tìm kiếm không công bố cơ chế, nhưng các hướng dẫn công khai nhấn mạnh sơ đồ trang nên chứa địa chỉ chuẩn muốn lập chỉ mục. Một tệp đầy địa chỉ không chuẩn khó được dùng như nguồn tham chiếu đáng tin, kể cả giá trị ngày sửa đổi.
Tìm địa chỉ chuyển hướng trong sơ đồ trang
Không cần công cụ đắt tiền. Một máy có curl và vài lệnh dòng lệnh là đủ cho site vừa và nhỏ; site lớn dùng công cụ thu thập dữ liệu site có chế độ đọc danh sách địa chỉ.
- Tải tệp chỉ mục sơ đồ trang và mọi tệp con về máy, ví dụ curl -s https://vidu.vn/sitemap.xml -o sitemap.xml.
- Trích danh sách địa chỉ trong các thẻ loc ra một tệp văn bản, mỗi dòng một địa chỉ.
- Với mỗi địa chỉ, gọi curl chỉ lấy tiêu đề, không theo chuyển hướng, ghi lại mã trạng thái: curl -s -o /dev/null -w "%{http_code} %{redirect_url}" địa-chỉ.
- Lọc các dòng có mã 301, 302, 307, 308. Cột thứ hai cho biết đích, giúp bạn biết địa chỉ nào nên thay vào sơ đồ trang.
- Lọc thêm các dòng 404, 410 và 5xx: chúng cũng không thuộc về sơ đồ trang.
- Đối chiếu với báo cáo sơ đồ trang trong Search Console: phần trang được gửi nhưng không lập chỉ mục, nhóm theo lý do.
Gọi hàng nghìn địa chỉ liên tục có thể làm nặng máy chủ của chính bạn; giới hạn tốc độ, chạy vào giờ thấp điểm, và báo cho người quản trị máy chủ nếu không phải bạn.
Sửa theo nguồn gốc của lỗi
Xoá tay từng dòng trong tệp tĩnh chỉ giải quyết lần này. Sửa ở nguồn sinh sơ đồ trang mới ngăn được lỗi quay lại.
| Nguồn gốc | Cách sửa ở gốc |
|---|---|
| Sơ đồ trang tĩnh do người tải lên | Bỏ tệp tĩnh, chuyển sang sinh động từ hệ quản trị nội dung |
| Phần mềm sinh dùng sai địa chỉ gốc (http, www) | Sửa cấu hình địa chỉ site trong phần mềm sinh |
| Đường dẫn bài đổi nhưng sơ đồ trang không cập nhật | Sinh lại theo sự kiện lưu bài hoặc theo lịch |
| Chuyển hướng cấu hình ngoài cơ sở dữ liệu | Lưu danh sách chuyển hướng ở nơi phần mềm sinh đọc được để loại trừ |
| Tệp con lỗi thời trong tệp chỉ mục | Rà tệp chỉ mục, gỡ tệp con không còn nguồn sinh |
| Nhiều ứng dụng cùng tên miền | Mỗi ứng dụng một tệp con có chủ, ghi rõ người phụ trách |
Sau khi sửa, gửi lại tệp chỉ mục sơ đồ trang trong Search Console. Không cần gửi lại từng tệp con nếu tệp chỉ mục đã liệt kê đúng.
Ngoại lệ ngắn hạn: giữ địa chỉ cũ khi chuyển site
Có một tình huống người làm SEO cố ý để địa chỉ chuyển hướng trong sơ đồ trang: ngay sau khi đổi tên miền hoặc đổi cấu trúc đường dẫn hàng loạt. Ý tưởng là gửi một sơ đồ trang tạm chứa địa chỉ cũ để con bọ ghé lại chúng sớm, gặp chuyển hướng 301 và nhận ra thay đổi nhanh hơn chờ con bọ tự quay lại theo lịch.
Cách này được nhiều người làm nghề áp dụng, nhưng nên coi là tạm. Sơ đồ trang tạm này đặt riêng, tách khỏi sơ đồ trang chính chỉ chứa địa chỉ mới, và gỡ sau vài tuần đến vài tháng khi báo cáo cho thấy phần lớn địa chỉ cũ đã được xử lý. Để lâu, nó trở lại thành nguồn tín hiệu mâu thuẫn như mọi trường hợp khác.
Với việc đổi tên miền, công cụ thay đổi địa chỉ trong Search Console và chuyển hướng từng trang vẫn là chính; sơ đồ trang tạm chỉ là phần phụ. Nếu nguồn lực hạn chế, ưu tiên làm đúng chuyển hướng và sơ đồ trang mới trước, bỏ qua sơ đồ trang tạm cũng không sao.
Giữ sơ đồ trang sạch về lâu dài
Sơ đồ trang sạch không phải việc làm một lần. Vài thói quen dưới giúp giữ nó đúng khi site thay đổi hằng ngày.
- Đặt một tác vụ định kỳ hằng tuần kiểm mã trạng thái của mọi địa chỉ trong sơ đồ trang, gửi cảnh báo khi số địa chỉ không phải 200 vượt một ngưỡng nhỏ.
- Khi thêm một chuyển hướng mới, quy trình phải gồm bước kiểm sơ đồ trang có còn địa chỉ nguồn không.
- Chỉ đưa vào sơ đồ trang các trang có canonical trỏ về chính nó và không có thẻ noindex.
- Ghi ngày sửa đổi trung thực: chỉ cập nhật khi nội dung chính thay đổi, không tự động đổi theo mỗi lần sinh lại tệp.
- Mỗi lần đổi cấu hình HTTPS, www, dấu gạch chéo cuối, kiểm ngay vài dòng đầu tệp sơ đồ trang xem địa chỉ có khớp dạng chuẩn mới không.
- Giữ một danh sách những ai có quyền tải tệp sơ đồ trang lên, tránh tình trạng tệp tĩnh cũ xuất hiện trở lại sau một lần khôi phục bản sao lưu.
Sơ đồ trang trên các nền tảng quản trị nội dung dựng sẵn
Trên WordPress và các nền tảng tương tự, sơ đồ trang thường do lõi nền tảng hoặc một plugin SEO sinh tự động. Phần lớn đã tự loại bài nháp, bài riêng tư và bài có noindex. Điểm yếu nằm ở chỗ chúng không biết các chuyển hướng cấu hình ngoài nền tảng: quy tắc trong .htaccess, trong nginx hay ở CDN. Một bài vẫn ở trạng thái xuất bản nhưng đã bị chuyển hướng ở máy chủ vẫn nằm nguyên trong sơ đồ trang.
Lỗi phổ biến thứ hai trên các nền tảng này là chạy song song hai bộ sinh: sơ đồ trang của lõi nền tảng và của plugin, mỗi bên một địa chỉ tệp. Tệp robots.txt khai báo một tệp, Search Console được gửi tệp kia. Một trong hai tệp thường lỗi thời hoặc dùng cấu trúc đường dẫn khác. Chọn một bộ sinh duy nhất, tắt bộ kia, kiểm tệp robots.txt và Search Console cùng trỏ về một địa chỉ.
Với nền tảng thương mại điện tử dựng sẵn, sơ đồ trang thường không sửa được trực tiếp. Khi đó, việc kiểm vẫn làm như trên, và cách sửa là sửa ở dữ liệu: ẩn đúng cách các sản phẩm, trang đã gỡ, cập nhật đường dẫn trong phần quản trị thay vì chỉ thêm chuyển hướng. Nếu nền tảng có chức năng tạo chuyển hướng khi đổi đường dẫn, nên giao việc đó cho chính nền tảng để sơ đồ trang và chuyển hướng cùng cập nhật một lúc.
Một ví dụ dọn sơ đồ trang trọn vẹn
Ví dụ giả định: một site tin tức chuyên ngành xây dựng ở Đà Nẵng có khoảng 30.000 địa chỉ trong sơ đồ trang. Kiểm bằng curl cho thấy 6.000 địa chỉ ở dạng http và 2.500 địa chỉ bài đã đổi đường dẫn từ dạng có chuyên mục sang dạng ngắn. Toàn bộ 8.500 dòng đều trỏ vào chuyển hướng, còn khoảng 400 dòng là bài đã xoá trả 404.
Đội kỹ thuật không xoá tay. Họ tìm ra phần mềm sinh sơ đồ trang đang dùng cấu hình địa chỉ gốc cũ từ trước khi chuyển HTTPS, sửa một dòng cấu hình; 6.000 dòng http lập tức đúng sau lần sinh lại. Với 2.500 bài đổi đường dẫn, họ phát hiện sơ đồ trang được sinh theo bảng đường dẫn cũ còn lưu trong cơ sở dữ liệu, sửa truy vấn để lấy đường dẫn hiện hành. Bài đã xoá được loại khỏi truy vấn bằng trạng thái xuất bản.
Sau lần gửi lại, báo cáo sơ đồ trang trong Search Console cần vài tuần để cập nhật. Thước đo đáng theo dõi không phải số trang được lập chỉ mục tăng ngay mà là tỷ lệ địa chỉ trong sơ đồ trang trả 200 và có canonical về chính nó, giờ gần như tuyệt đối. Từ đó, mỗi dòng trong báo cáo lỗi lại có ý nghĩa.
Câu hỏi thường gặp
Có bị phạt nếu sơ đồ trang chứa vài địa chỉ chuyển hướng không?
Không có án phạt nào cho việc này. Vài dòng lẫn vào không gây hại đáng kể. Vấn đề chỉ trở nên đáng kể khi tỷ lệ địa chỉ không chuẩn lớn, làm tín hiệu chọn bản chính bị loãng và báo cáo mất giá trị theo dõi.
Sơ đồ trang có nên chứa địa chỉ có tham số không?
Chỉ khi địa chỉ có tham số chính là địa chỉ chuẩn của trang, ví dụ hệ thống cũ dùng tham số làm định danh bài. Các biến thể tham số dùng để lọc, sắp xếp hay theo dõi chiến dịch không nên có mặt, vì chúng thường canonical về trang khác.
Báo cáo ghi "trang có lệnh chuyển hướng" có phải lỗi cần sửa không?
Bản thân trạng thái này không phải lỗi; nó chỉ cho biết địa chỉ đó chuyển hướng nên không được lập chỉ mục, điều hoàn toàn bình thường với địa chỉ cũ. Chỉ cần sửa khi những địa chỉ đó đến từ sơ đồ trang của bạn hoặc khi một trang lẽ ra phải sống lại đang chuyển hướng.
Ảnh và video trong sơ đồ trang có cần kiểm chuyển hướng không?
Có. Địa chỉ ảnh hay video khai báo trong sơ đồ trang cũng nên trỏ thẳng tới tệp trả 200. Khi chuyển ảnh sang CDN hay đổi thư mục lưu trữ, sơ đồ trang ảnh hay bị bỏ quên và trỏ vào địa chỉ cũ chuyển hướng.
Có nên xoá sơ đồ trang cũ trong Search Console sau khi đổi tên miền không?
Trong tài sản của tên miền cũ, có thể giữ một thời gian sơ đồ trang tạm liệt kê địa chỉ cũ để con bọ ghé lại và gặp chuyển hướng. Khi phần lớn đã được xử lý, gỡ đi. Tài sản tên miền mới chỉ nên có sơ đồ trang chứa địa chỉ mới.
Tệp robots.txt khai báo địa chỉ sơ đồ trang ở dạng http thì sao?
Nên sửa thành đúng dạng địa chỉ chuẩn hiện tại. Máy tìm kiếm thường vẫn theo được chuyển hướng tới tệp, nhưng không có lý do gì để để một bước chuyển hướng ở chỗ dễ sửa như vậy.