Năm 1842, thân sinh ông mất tại làng Bảo Thạnh (Bến Tre), ông về quê hộ tang. Tuy là quan lớn, nhưng ông chỉ đi trên một chiếc ghe nhỏ như thường dân. Khi ghe qua sông Ba Lai, viên thủ đồn kêu xét gắt gao, người hầu chèo ghe bảo là quan lớn đi có việc gấp. Viên thủ đồn vẫn nạt, nhất định kêu ghe phải ghé lại để khám xét theo luật lệ. Ông bảo người hầu cho ghe cập bến và ông đích thân lên trình đồn theo phép, không tỏ vẻ quan dạng gì cả.

Sau đó, ông về quê chịu tang xong. Một hôm, ông cho đòi viên thủ đồn Ba Lai tới dinh. Khi vào dinh gặp mặt, viên thủ đồn nhớ ra ông, hoảng sợ, xin ông tha tội vô lễ hôm trước.

Quan Phan nói :

– Ngươi làm như vậy là đúng phận sự. Ta gọi đến đây để khen ngợi. Từ đây, cứ lo phận sự như thế. Dù là ghe quan lớn, cũng cứ thi hành phận sự mà thôi.

Rồi ông bèn sai gửi tờ đề nghị với quan sở tại thăng viên thủ đồn lên chức Chánh cơ đội và thưởng một trăm quan tiền.