Phan Thanh Giản - Những năm cuối đời (1862-1867)