Kiểm chuyển hướng hàng loạt là chạy curl cho từng địa chỉ trong một danh sách, ghi mã trạng thái, đích bước đầu, đích cuối cùng và số bước, rồi so với đích mong đợi để lọc ra những dòng sai. Với vài chục địa chỉ, một vòng lặp vài dòng trong cửa sổ dòng lệnh là đủ; với vài nghìn địa chỉ, bạn thêm chạy song song có giới hạn và đưa kết quả vào bảng tính để lọc.
Việc này cần nhất sau khi đổi tên miền, đổi cấu trúc đường dẫn, gộp hai site, hoặc nhập một bảng chuyển hướng lớn vào máy chủ. Kiểm bằng mắt từng trang là không khả thi, còn kiểm vài trang mẫu thì bỏ sót đúng những trang ít người để ý nhưng có liên kết ngoài trỏ vào. Bài dùng tên miền giả định tenmien-cu.vn và tenmien-moi.vn.
Chuẩn bị danh sách địa chỉ cần kiểm
Danh sách tốt nhất là bảng ánh xạ bạn đã dùng để viết quy tắc chuyển hướng: mỗi dòng một địa chỉ cũ và địa chỉ mới tương ứng. Nếu chưa có, gom địa chỉ cũ từ ba nguồn: sơ đồ trang của site cũ (nếu còn bản lưu), báo cáo các trang có lượt hiển thị trong công cụ quản trị của máy tìm kiếm, và nhật ký truy cập máy chủ những tháng gần đây. Nguồn thứ ba hay bị bỏ qua nhưng lại chứa các địa chỉ có người thật đang vào, kể cả những trang không còn trong sơ đồ trang.
Lưu danh sách thành tệp văn bản thuần, mỗi dòng hai cột cách nhau bằng dấu phẩy: cột một là địa chỉ cũ đầy đủ, cột hai là đích mong đợi đầy đủ. Ví dụ giả định một dòng: http://tenmien-cu.vn/san-pham/ao-thun,https://tenmien-moi.vn/ao-thun. Không để dòng tiêu đề, không để dòng trống, và lưu với kiểu xuống dòng của Linux nếu chạy trên Linux hay macOS; tệp xuất từ bảng tính trên Windows hay mang ký tự xuống dòng lạ làm vòng lặp đọc sai cột cuối.
Với địa chỉ có ký tự tiếng Việt hoặc khoảng trắng trong đường dẫn, ghi ở dạng đã mã hoá phần trăm như trình duyệt gửi đi. Nếu ghi nguyên dấu, kết quả có thể khác nhau giữa các máy. Cuối cùng, loại trùng: sort -u ds.csv giúp bạn khỏi kiểm một địa chỉ hai lần và khỏi đếm sai tỉ lệ lỗi.
Vòng lặp curl cơ bản cho cả danh sách
Trên macOS hoặc Linux, các dòng dưới đây gõ liền nhau thành một lệnh. Lệnh đọc từng dòng của tệp ds.csv, gửi yêu cầu cho địa chỉ cũ, in một dòng kết quả cách nhau bằng dấu phẩy và đồng thời ghi vào tệp ketqua.csv:
- cat ds.csv | while IFS=, read -r cu mong; do
- buoc1=$(curl -s -o /dev/null -w "%{http_code},%{redirect_url}" "$cu");
- cuoi=$(curl -s -o /dev/null -L --max-redirs 10 -w "%{http_code},%{num_redirects},%{url_effective}" "$cu");
- echo "$cu,$mong,$buoc1,$cuoi";
- done | tee ketqua.csv
Mỗi dòng kết quả có bảy cột: địa chỉ cũ, đích mong đợi, mã bước đầu, đích bước đầu, mã cuối cùng, số bước, địa chỉ cuối cùng. Lần gọi curl thứ nhất không đi theo chuyển hướng nên cho biết bước đầu trả gì; lần thứ hai đi theo đến cùng nên cho biết khách rốt cuộc tới đâu.
Trên Windows, cách tương tự là dùng vòng lặp của PowerShell đọc tệp bằng Import-Csv rồi gọi curl.exe cho từng dòng, hoặc chạy đoạn lệnh trên trong môi trường Linux tích hợp của Windows. Nếu không quen dòng lệnh, nhờ người trong đội chạy một lần rồi bạn làm phần lọc trong bảng tính.
Phân loại kết quả sau khi chạy
Mở ketqua.csv bằng bảng tính, thêm một cột phân loại. Bảng sau là cách phân loại gợi ý và việc cần làm với từng nhóm:
| Nhóm | Dấu hiệu trong kết quả | Việc cần làm |
|---|---|---|
| Đạt | Bước đầu 301, số bước bằng 1, địa chỉ cuối trùng đích mong đợi, mã cuối 200 | Không làm gì |
| Đúng đích nhưng nhiều bước | Địa chỉ cuối đúng, số bước từ 2 trở lên | Sửa quy tắc để đi thẳng tới đích |
| Sai loại mã | Đích đúng nhưng bước đầu là 302 hoặc 307 | Đổi sang 301 hoặc 308 nếu việc chuyển là lâu dài |
| Sai đích | Địa chỉ cuối khác đích mong đợi, thường là trang chủ | Thêm quy tắc riêng cho địa chỉ này |
| Không chuyển | Bước đầu 200 hoặc 404 | Quy tắc chưa áp dụng hoặc viết sai đường dẫn |
| Đích hỏng | Chuyển hướng đúng nhưng mã cuối 404, 410 hoặc 5xx | Sửa trang đích hoặc đổi đích sang trang còn sống |
| Vòng lặp | curl báo vượt giới hạn số bước, mã cuối là 3xx | Xem chuỗi từng bước, gỡ quy tắc chéo nhau |
Trong bảng tính, một công thức so sánh cột đích mong đợi với cột địa chỉ cuối cùng, kèm điều kiện số bước bằng một và mã cuối bằng 200, là đủ để đánh dấu nhóm Đạt. Lọc mọi dòng không đạt ra một trang riêng để xử lý. Lưu ý so sánh địa chỉ có thể lệch vì dấu gạch chéo cuối; quyết định trước site của bạn dùng kiểu nào để so cho công bằng.
Chạy nhanh hơn mà không làm phiền máy chủ
Chạy song song có giới hạn. Vòng lặp tuần tự với vài nghìn địa chỉ có thể mất nhiều phút. Dùng xargs -P 4 để chạy bốn yêu cầu cùng lúc là đủ nhanh mà vẫn nhẹ. Tránh đặt số luồng lớn: máy chủ hoặc tường lửa ứng dụng có thể coi đó là tấn công và chặn địa chỉ IP của bạn, kết quả lúc đó toàn mã 403 hoặc 429, sai hết.
Kiểm chính máy chủ của bạn, không kiểm site người khác. Kiểm hàng loạt chỉ dành cho tên miền bạn quản lý hoặc được giao quản lý. Gửi hàng nghìn yêu cầu vào site của người khác là hành vi dễ bị coi là dò quét.
Đặt thời gian chờ. Thêm --max-time 15 cho mỗi lệnh curl để một địa chỉ treo không làm đứng cả vòng lặp. Dòng hết thời gian chờ thì ghi riêng, kiểm lại sau.
Chạy từ đúng chỗ. Nếu máy chủ gốc chỉ cho CDN đi vào, chạy kiểm qua CDN như khách. Nếu cần kiểm thẳng máy chủ gốc, thêm --resolve vào cả hai lệnh curl trong vòng lặp và ghi rõ trong tên tệp kết quả.
Giữ lại kết quả từng lần chạy. Đặt tên tệp kèm ngày, chẳng hạn ketqua-truoc.csv và ketqua-sau.csv. So hai tệp cho thấy lần sửa vừa rồi cải thiện được bao nhiêu dòng, làm hỏng thêm dòng nào.
Quy trình đầy đủ cho một lần đổi cấu trúc đường dẫn
Ghép các phần trên thành một quy trình dùng lại được cho mỗi lần thay đổi lớn:
- Lập danh sách địa chỉ cũ từ sơ đồ trang, báo cáo trang có lượt hiển thị và nhật ký truy cập, loại trùng.
- Điền đích mong đợi cho từng dòng, kiểm bằng mắt khoảng hai mươi dòng ngẫu nhiên xem ánh xạ có hợp lý không.
- Trước khi áp dụng quy tắc, chạy vòng lặp một lần để có mốc; lúc này phần lớn dòng sẽ trả 200 trên site cũ.
- Áp dụng quy tắc trên môi trường thử nếu có, chạy lại vòng lặp với tên miền môi trường thử.
- Áp dụng lên site thật, chạy lại vòng lặp ngay, lọc nhóm không đạt, sửa, chạy lại cho đến khi tỉ lệ đạt đúng như mong muốn.
- Chạy lại sau một ngày và sau một tuần để bắt các thay đổi phát sinh, như một bản cập nhật plugin ghi đè quy tắc.
Tỉ lệ đạt không nhất thiết phải tuyệt đối: một số địa chỉ cũ không có trang tương ứng, và trả 404 hay 410 cho chúng có thể là quyết định đúng. Điều quan trọng là mỗi dòng không đạt đều có lý do được ghi lại, không phải bị bỏ quên.
Kiểm cả chiều ngược: trang đích không được tự chuyển hướng tiếp
Danh sách địa chỉ cũ chỉ là một nửa. Nửa còn lại là danh sách đích: mỗi địa chỉ trong cột đích mong đợi phải trả 200 trực tiếp, không chuyển hướng thêm bước nào. Nếu đích tự chuyển tiếp, mọi địa chỉ cũ trỏ vào nó đều thành chuỗi hai bước, và lỗi này nhân lên theo số dòng trong bảng ánh xạ.
Cách kiểm giống vòng lặp ở trên nhưng chỉ đọc cột thứ hai: lấy cột đích bằng cut -d, -f2 ds.csv | sort -u, rồi với mỗi địa chỉ chạy curl không đi theo chuyển hướng và in mã trạng thái. Mọi dòng không phải 200 là đích cần xem lại. Lỗi hay gặp là đích viết thiếu dấu gạch chéo cuối trong khi site mới luôn thêm nó, hoặc đích ghi dạng có www trong khi địa chỉ chuẩn của site mới không có www.
Cùng tinh thần đó, kiểm sơ đồ trang của site mới: mọi địa chỉ trong sơ đồ trang phải trả 200, không có địa chỉ nào chuyển hướng. Sơ đồ trang chứa địa chỉ chuyển hướng là tín hiệu lẫn lộn gửi cho máy tìm kiếm. Bạn tải sơ đồ trang, lọc các dòng địa chỉ thành một danh sách, rồi chạy đúng vòng lặp kiểm đích ở trên.
Những lỗi hay gặp khi đọc kết quả kiểm hàng loạt
Lỗi thứ nhất là so chuỗi quá cứng. Địa chỉ cuối https://tenmien-moi.vn/ao-thun/ và đích mong đợi https://tenmien-moi.vn/ao-thun khác nhau một dấu gạch chéo, bảng tính đánh dấu sai, nhưng thực tế có thể là đúng nếu site tự thêm dấu gạch chéo cuối. Hoặc ngược lại, đó là bằng chứng có thêm một bước chuyển hướng ẩn chỉ để thêm dấu gạch chéo. Cột số bước giúp phân biệt hai trường hợp.
Lỗi thứ hai là tin kết quả 200 của địa chỉ cuối mà không xem nội dung. Một số site trả mã 200 cho trang "không tìm thấy" được thiết kế đẹp, gọi là lỗi soft 404. Khi nhiều địa chỉ khác nhau cùng về một địa chỉ cuối trả 200, mở thử địa chỉ đó: nếu là trang chủ hoặc trang báo lỗi, các dòng đó thực chất là sai đích.
Lỗi thứ ba là chạy lúc site đang có sự cố hoặc đang bảo trì. Một loạt mã 503 hay 502 không nói gì về quy tắc chuyển hướng cả; chỉ cần chạy lại khi site ổn định. Vì vậy luôn xem nhanh phân bố mã trạng thái trước khi đi sâu: nếu một mã lạ chiếm phần lớn kết quả, nguyên nhân thường nằm ngoài cấu hình chuyển hướng.
Câu hỏi thường gặp
Danh sách bao nhiêu địa chỉ thì nên chuyển sang kiểm hàng loạt?
Từ khoảng hai mươi địa chỉ trở lên, vòng lặp đã nhanh và ít sai hơn kiểm từng cái. Với vài trăm hoặc vài nghìn, kiểm hàng loạt là cách duy nhất khả thi. Ngay cả khi chỉ có mười địa chỉ, giữ tệp danh sách cũng tiện cho những lần kiểm lại sau.
Vì sao kết quả toàn mã 403 hoặc 429 dù trình duyệt vào bình thường?
Tường lửa ứng dụng hoặc CDN nhận ra một loạt yêu cầu dồn dập từ cùng một địa chỉ IP với chuỗi User-Agent của curl và chặn lại. Giảm số luồng song song, thêm khoảng nghỉ giữa các yêu cầu, hoặc thêm địa chỉ IP máy kiểm vào danh sách cho phép trong lúc kiểm.
Có nên kiểm bằng HEAD cho nhanh trong vòng lặp không?
Có thể, nhưng một số máy chủ và ứng dụng xử lý HEAD khác GET, cho kết quả sai lệch. Với danh sách quan trọng như sau khi đổi tên miền, dùng GET với tuỳ chọn bỏ nội dung như trong mẫu. Tốc độ chênh lệch không đáng kể so với rủi ro đọc nhầm.
Làm sao biết địa chỉ cũ nào quan trọng nhất cần đúng trước?
Sắp xếp danh sách theo lượt truy cập trong nhật ký máy chủ, theo lượt hiển thị trong công cụ quản trị tìm kiếm, và theo số liên kết ngoài trỏ vào nếu có dữ liệu. Sửa nhóm đầu trước, vì đó là nơi khách thật và tín hiệu tìm kiếm đang đi qua.
Có cần giữ tệp kết quả sau khi đã sửa xong không?
Nên giữ. Tệp kết quả là bằng chứng cấu hình đã đúng tại một thời điểm, giúp so sánh khi có sự cố sau này. Lưu cùng chỗ với bảng ánh xạ và ghi chú thay đổi, đặt tên kèm ngày để dễ tìm.