Yos Sudarso bermimpi menjadi seorang prajurit sejak kecil, meskipun orang tuanya lebih menginginkan dia menjadi seorang guru. Yos Sudarso kemudian mewujudkan mimpinya setelah pemerintah Jepang membutuhkan personel militer tambahan untuk menghadapi Perang Asia Timur Raya.
Ia kemudian mengikuti pendidikan di Akademi Angkatan Laut di Semarang dan mengikuti pendidikan militer bersama Angkatan Laut Jepang, dari mana ia lulus sebagai salah satu siswa terbaik. Ia kemudian bertugas di salah satu kapal militer Jepang.
Setelah proklamasi kemerdekaan Indonesia pada tanggal 17 Agustus 1945, ia bergabung dengan Badan Keamanan Rakyat di sektor laut (BKR Laut), yang kemudian menjadi bagian dari Angkatan Laut Indonesia.
Selama karirnya, Yos Sudarso bertugas dalam berbagai operasi militer untuk memberantas pemberontakan yang terjadi di wilayah Republik Indonesia. Ia memimpin beberapa Kapal Perang Republik Indonesia (KRI) seperti KRI Rajawali, KRI Alu, KRI Gajah Mada, KRI Pattimura, dan KRI Macan Tutul. Pada tahun 1958, ia juga bertugas sebagai hakim pada pengadilan militer selama empat bulan.
Pada akhir tahun 1961, Presiden Sukarno memerintahkan pelaksanaan Tri Komando Rakyat (TRIKORA), yang melibatkan operasi di Laut Aru dekat Maluku untuk mendukung misi pembebasan Papua Barat dari Belanda. Saat itu, Yos Sudarso bertugas sebagai Wakil Kepala Operasi Angkatan Laut (KSAL). Ada tiga KRI yang terlibat dalam operasi rahasia di perairan Maluku, yaitu KRI Macan Tutul, KRI Macan Kumbang, dan KRI Harimau. Yos Sudarso memimpin KRI Macan Tutul.
Tiga kapal perang besar dengan senjata lengkap milik armada perang Belanda mencurigai gerak-gerik Yos Sudarso dan tiga unit KRI yang beroperasi di Laut Aru. Yos Sudarso memerintahkan ketiga KRI untuk sementara mundur, namun Belanda mengira itu merupakan manuver untuk menyerang dan kemudian membuka tembakan.
Mesin KRI Macan Tutul yang dipimpin oleh Yos Sudarso tiba-tiba rusak di tengah upaya penyelamatan. Dengan berpikir cepat, Yos Sudarso menyadari bahwa ia tidak bisa menyelamatkan kapalnya, tetapi ia bisa menyelamatkan dua kapal lainnya. KRI Macan Tutul yang dipimpinnya kemudian berdiri di antara kapal perang Belanda sebagai perisai sehingga dua KRI lainnya dapat menyelamatkan diri. Tembakan kedua dari kapal Belanda mengenai KRI Macan Tutul, membuatnya terbakar dan akhirnya tenggelam.
Yos Sudarso meninggal bersama 24 orang lainnya dalam misi dengan KRI Macan Tutul dalam pertempuran di Laut Aru. Ia mengorbankan nyawanya dalam tugas demi kepentingan negara pada usia muda, 36 tahun.
