بدأ مفهوم حماية مواطن دولة ما موجود في دولة أخرى منذ ظهور مفهوم الدولة والحاكم، غير أن أول شيء مادي ملموس على فكرة حواز السفر الحديث، ظهرت إبان حكم ملك بريطانيا هنري الخامس في مرسوم قانون برلماني صدر في عام 1414.
ففي ذلك الوقت كانت الوثائق مثل "عهد الأمان"، التي تمنح في العادة للأفراد من دول معادية لهم حرية المرور عبر أراضيها مع ضمان عدم تعرضهم للاعتقال أو الإساءة أو الاعتقال، وفي حالات الحروب يمنح لهم حق الانسحاب والتراجع من دون التعرض للهجوم، ولا تصدر إلا عن الملك أو الحاكم.
ومنذ عام 1540 أصبح إصدار تصاريح سفر وتنقل من مهام المجلس الخاص للمملكة المتحدة، حيث كان مجانيا للأجانب ومقابل رسوم للمواطنين.
وفي هذه الفترة كان مصطلح "جواز سفر" مستخدما سواء للسفر البحري عبر الموانئ أو البري عبر بوابات المدن، حيث أن كلمة "باسبورت" تحتوي على المصطلح "بورت" ويعني بالإنجليزية الميناء وبالفرنسية بمعنى بوابة.
ويعود أقدم جواز سفر بريطاني موجود حتى الآن إلى أيام الملك تشارلز الأول في عام 1636، ويسمح فيها للسير توماس ليتلتون بالسفر عبر الميناء إلى مناطق ما وراء البحار.
وفي ذلك الوقت، لم تكن جواز السفر على الشكل الحالي، وإنما على شكل وثائق ورقية تحتوي الاسم وصفات حامل الوثيقة، ولم تكن الصور موجودة فيها.
ومع عام 1914، ولضرورات أمنية وبسبب تزايد أعداد المهاجرين والمسافرين بين الدول، ظهرت الحاجة إلى توثيق عمليات العبور عبر الحدود خصوصا مع اندلاع الحرب العالمية الأولى، وأصبح جواز السفر تحمل صورة حامله.
وكانت أي صورة مقبولة، حتى الصور الجماعية أو العائلية، ولم يكن هناك قيود على طبيعتها أو حجمها.
وفي عام 1921، ظهرت فكرة جوازات السفر المعيارية، وذلك عقب الحرب العالمية الأولى، والتي أسستها "عصبة الأمم".
وصارت ألوان أغلفة جوازات السفر المعيارية، وهي 4 ألوان رئيسية، تعبر عن الدول وميولها سواء أكانت هذه الأسباب وطنية أو قومية أو دينية.
أما ما يجعل حواز سفر أقوى وأهم من غيره، فالسبب الرئيسي هو حرية السفر إلى أكبر عدد من البلدان، بحسب استطلاع أوروبي للرأي.