寺伝によると、松尾寺は白鳳九年（６８０）、修験道の開祖、役(えん)の行者（役の小角(おづぬ)）が松尾寺山中（５０４ｍ）で修行中、空中より飛来して来た二体の観音像を洞窟に祀ったことに始まります。神護景雲三年（７６９）僧宣教が建立した霊仙七ヵ寺の内、今日残存する唯一の寺院です。平安時代の山岳修行の風潮の中、伊吹山の三修上人の高弟、松尾童子が当寺の中興に力を注ぎ、その後山岳信仰の寺院として発展。一寺一院十八坊のお堂（伽藍）がありました。
松尾寺山頂からは湖北一帯が一望でき、山城跡も存在します。中世に湖北を支配していた浅井亮政公や石田正継公、それに豪族の三田村氏、樋口氏等の古文書が残されています。戦国時代には織田信長勢の兵火により本堂が燃えさかる中、御本尊は自ら飛び上がり、影向(ようごう)石に降りたって難を逃れたといわれ、**“空中飛行観音”**の名が世に知れ渡っていきました。
江戸時代、松尾寺は、彦根藩主井伊家の庇護のもと、寛文年間（１６６１～１６７３）に立派な本堂が建立されました。一時は五十余の小寺（院や坊）があり、松尾寺村を形成しており、村高は六十余石でした。お茶（松尾茶＝旭山）が名産物
で、皇室、公家衆、武家衆にも献上されていました。江戸時代半ば頃までは栄えていたものの、明治初期には上丹生村に合併されました。
近代になり、飛行機が発達するにつれ「飛行」と名が付く当寺の御本尊、飛行観音に関心が高まりました。戦時中、本土決戦態勢が取られていた折、訓練を終えた多くの航空隊員が出陣前に松尾寺へ参詣し、戦場へ飛び立っていったとされています。昭和十年の松尾寺秘仏御開帳の際には、岐阜県各務原飛行学校から長さ約３メートルのプロペラが奉納され、現在も松尾寺内に大切に保存されています。