Dokładny rok powstania łowców, ani nawet konkretny okres nie są znane. Najstarsze wzmianki datuje się na rok 529 traktujące o Benedyktynach, przy czym są to wyłącznie przekazy ustne lub szyfrowane teksty, których znaczenie może być podważalne. Tutaj też napotkać można wzmiankę o pierwszym Mistrzu, Aurelio Carta, któremu ojciec nakazał zachować wszystkie tajemnice ich misji i samego istnienia. Przez wieki Zakon przechodził wiele zmian i przyjmował różne formy. Bracia Widzący należeli między innymi do Zakonu Krzyżackiego czy inkwizycji. Nigdy jednak nie byli instytucją w pełni jawną, mając nad sobą jedynie tak samo wtajemniczone osoby pośród duchownych. Przez długi czas Widzący funkcjonowali jako zakon rycerski, powoli i nieoficjalnie rozciągając wpływy na inne społeczności, w których znaleźli się inni obdarzeni Wzrokiem.
Choć Widzący w bardziej współczesnej, zorganizowanej formie wywodzili się bezsprzecznie z Kościoła, to nie dotrwało to do obecnych czasów. Poróżnili się z nim około roku 1096, kiedy to papież Urban II wezwał walecznych wiernych do pierwszej krucjaty przeciwko Muzułmanom. Rządzący wówczas Zakonem Wielki Mistrz Maurizio Rosati kategorycznie sprzeciwił się prowadzeniu wojny przeciwko innowiercom i wypowiedział posłuszeństwo Watykanowi, za co jego i jego podwładnych spotkała ekskomunika. On też był autorem nowego kodeksu Zakonu, stworzonym na wzór biblijnego dekalogu. Kierowano się nim przez setki lat, z mniejszymi lub większymi zmianami od czasu do czasu, aż ostatecznie odszedł on w zapomnienie.
Zakon zniknął ze sceny na długi czas, kryjąc się w cieniu różnych zakątków świata i stanowiąc bardziej rozproszoną społeczność ideologiczną niż grupę. Zniknęli prawie całkowicie z Watykanu, Włoszech, a potem też basenu Morza Śródziemnego. Wielu z nich zaszyło się w tak zwanych krajach pogańskich, czasami figurując na ustach miejscowych pod mianem czarowników lub szeptuchów. Niektórzy padali ofiarą świętej inkwizycji, inni sami do niej przynależeli, starając się kierować jej działaniami we właściwą stronę. To właśnie ta instytucja oraz działania Kościoła przeciwko ruchom heretyckim stały się główną przyczyną problemów i rozłamów w Zakonie w XII wieku. Widzący walczyli z herezją na własnej płaszczyźnie, a wkrótce też we własnym ogródku, kiedy Wielki Mistrz Paul Vallet zginął z ręki swego konkurenta Eona z l’Etoile. Powszechnie uznawany za człeka niespełna rozumu, nie tylko wprowadził wielu zwolenników na drogę fanatyzmu i własnych wymysłów, ale też naraził na zmarnowanie wiele wieków pracy i budowania tradycji i przekonań. Oficjalnie zmarł z bliżej nieokreślonych przyczyn zdrowotnych, a przywództwo po nim przejął niejaki Arnold z Brescii, ponownie sprowadzając serce Zakonu na Półwysep Apeniński. Arnold sprzeciwiał się wielu działaniom inkwizycji i szybko zaczął tępić jej istnienie pośród Widzących. Jego śmiałe posunięcia na tym nie poprzestały, gdyż zaczął też głośno krytykować materialistyczną postawę Kościoła, za co został oficjalnie ekskomunikowany i ścigany z ramienia inkwizycji. Jego zastępca, a jednocześnie dawny mistrz, Pierre Abelard, ostatecznie zdecydował się na usunięcie go ze stanowiska dla dobra Zakonu. Jego motywacja do dziś nie jest do końca jasna, jako że niektórzy upatrują tam wielu sprzeczności z wyznawaną przez niego filozofią. Nie jest też pewne, czy śmierć Arnolda była częścią jego planu czy tylko nieszczęśliwym skutkiem.
Jedną z najbardziej nie czarnobiałych historii związanych z Zakonem i inkwizycją jest działalność i koniec niesławnego Konrada von Marburga. Metody duchownego były nie tylko radykalne, ale na tyle pozbawione sensu i zasad prawdziwego śledztwa, że pozwalały stawiać pod jego osąd wiele całkiem przypadkowych osób. To dawało niespotykane możliwości pozbywania się konkretnych person z zupełnie cudzej ręki i to w świetle prawa, z pozycji biednej ofiary. Jego okrucieństwo i fanatyzm w końcu jednak spotkały się z radykalną odpowiedzią Wielkiego Mistrza, który zezwolił swoim podwładnym na wymierzenie sprawiedliwości i zarazem osobistą zemstę, gdzieś około roku 1233.
W XVI wieku Zakonowi groziły kolejne wewnętrzne podziały pod wpływem szumnego wystąpienia Marcina Lutra i szerzenia się jego filozofii. Nie chcąc stracić panowania nad sytuacją, ówczesny Wielki Mistrz Tobias Maucher chwycił się brzytwy i nieświadomie położył podwaliny pod dalszy rozwój filozofii Zakonu. Oświadczył on, że wszystkie odłamy wiary w Jedynego Boga są akceptowalne wśród Widzących tak długo, jak nie stoją w sprzeczności z ich prawem i misją. To zastrzeżenie miało za zadanie wyeliminować ruchy heretyckie, będące w wielu przypadkach wynikiem podszeptów sił nieczystych. Choć decyzja przywódcy spotkała się z wieloma dyskusjami i bardzo różnym odbiorem, to nie licząc konkretnych przypadków, przyniosła spodziewany przez niego efekt, utrzymując Zakon we względnej jedności i skupiając uwagę na sprawach ważniejszych niż osobiste przekonania.
Widzący powrócili ze swojego podziemia w Anglii około roku 1717, z Jamesem Andersonem na czele, pod maską wolnomularstwa, które szybko zostało potępione z całkowicie oficjalnych powodów. Ich prawdziwa misja pozostała tajemnicą skrupulatnie strzeżoną przez każdego członka. Demonizowanie masonerii również było im na rękę, gdyż zniechęcało wielu ludzi do interesowania się stowarzyszeniem. Wykorzystując dawne powiązania i tworząc nowe, Widzący przenikali przez wszystkie warstwy społeczne, tworząc siatki i wpływy na własne potrzeby.
Odcięcie się od władzy kościelnej powoli i mozolnie, ale dało również możliwość oficjalnego rozszerzenia wpływów na pozostałe wyznania, narodowości i warstwy społeczne. Łowcy mogli swobodnie faworyzować faktyczne umiejętności i wartość człowieka, nie zaś jego pochodzenie czy przynależność. Choć głosy o tym, że innowierstwo stanowi poważną przeszkodę w pracy wciąż są żywe i mogą w wielu przypadkach okazać się prawdą, to nie zamyka się drzwi takim kandydatom, jeśli tylko stosują się do wewnętrznego prawa. Powoli przestaje też dziwić obecność kobiet, która przez wieki była wręcz nie do pomyślenia. Jednym z najważniejszych kroków nowej epoki było nawiązanie znacznie cieplejszych stosunków i współpracy z przedstawicielami różnych odłamów Chrześcijaństwa i Judaizmu, a także samotnymi przedstawicielami Islamu, choć była to współpraca jedynie na odległość.
Początek XX wieku przyniósł wiele nowości, niestety w głównej mierze niewesołych. Łowcy byli nie mniej niż inni zaalarmowani nagłym wybuchem konfliktu na światową skalę. Jak i w przypadku innych poważnych zbrodni, rozpoczęto poszukiwania odpowiedzialnych za to demonów lub pomiotów, nikt jednak nie był w stanie określić, ile ich mogło być. Nikt też nie spodziewał się, że pierwsza wojna światowa rzeczywiście będzie "Pierwszą". Ale prawdziwy koszmar przyniosła dopiero ta druga. W niej też zginął między innymi poprzedni Wielki Mistrz, Logan White, który jak wielu innych został powołany do wojska. W roku 1944 na czele Widzących stanął Alexander Huxley. Sytuacja Zakonu była wówczas bardzo kiepska. Konflikt, który rozszarpał serce Europy dotknął również bardzo wielu Widzących, którzy zginęli na froncie lub w obozach koncentracyjnych i ówczesnych ośrodkach pseudonaukowych. Po powrocie do Anglii Huxley miał przed sobą niełatwe wyzwanie odbudowania sił Zakonu, również w samej ich siedzibie w Londynie.