Свою историю эта инспекция, в задачу которой входит обеспечение безопасности человека на воде, контроль за маломерными судами и их эксплуатацией, надзор за базами стоянок для маломерных судов, пляжами, переправами, а также охрана не только жизни людей, но и окружающей среды ведёт с советских времён.
Учреждена эта инспекция была уже на закате истории СССР, в 1984 году, когда 15 июня вышло соответствующее Постановление Совета Министров РСФСР. Спустя 20 лет, в 2004 году ГИМС перешла в подчинение Министерства по чрезвычайным ситуациям РФ, в составе которого существует и по сей день.
Появление ГИМС в СССР не было случайным. На тот момент по стране уже функционировало множество специальных комиссий, которые отвечали за регистрацию и техническое состояние растущего числа маломерных судов (лодок и катеров) в частном секторе. Однако отсутствовали единые нормы, правила и требования, предъявляемые к владельцам маломерных судов.
Первые шаги по наведению порядка и единообразия в сфере маломерного флота были сделаны в начале 1970-х годов, когда была образована общественная организация (Главная навигационно-техническая инспекция при ОСВОДе) в 1972 году.
Спустя 10 лет, в 1982 году уже на правительственном уровне было принято решение о создании ГИМС с республиканскими отделениями, подчинёнными центральному государственному органу управления. В 1984 году в РСФСР после долгих споров о подчинённости ГИМС, эта служба была учреждена и приписана к Министерству жилищно-коммунального хозяйства, так как служба спасения на водах также находилась в его ведении. Теперь инспекторы ГИМС получили правовой статус, правовые основы своей деятельности, а также права административного контроля. В 2004 году ГИМС перешла в подчинение Министерства по чрезвычайным ситуациям.
К зоне ответственности ГИМС МЧС РФ относятся внутренние воды и территориальные моря России.