Германское присутствие на Святой земле в течение долгого времени было довольно скромным. Историки относят к 1198 г. дату превращения в военный орден монашеской организации, созданной в XII и. с целыо оказания помощи немецким крестоносцам, оказавшимся в трудном положении. Эго учреждение было известно как госпиталь Святой Марии Иерусалимской.Отсутствие или неточность источников практически не позволяет установить, что является правдой в легендах и тайнах, которыми окутано создание госпиталя Святой Марии Иерусалимской. Порою за точку отсчета берут великодушный поступок одного немецкого купца, вероятно, родом из Бремена или Любека, осевшего с женой в Святой земле в конце XI столетия. Он якобы приютил в своем доме германского рыцаря, который, получив тяжелую рану во время штурма крестоносцами Иерусалима в 1099 г., замертво рухнул на одной из улиц старого города. Супруги взяли на себя заботу о раненом рыцаре и вернули его к жизни. В последующие годы они взялись помогать больным или раненым соотечественникам, будь то рыцари или простые паломники. С согласия патриарха Иерусалима Стефана это неофициальное милосердное учреждение превратилось в настоящий госпиталь с пристройкой для жилья, в некотором роде гостиницу для германских паломников, вверенное покровительству святой Девы Марии Иерусалимской. Госпиталь и средства, которые щедрые супруги завещали после смерти братьям, т. е. монахам, стал с тех пор именоваться госпиталем Святой Марии Немецкой в Иерусалиме.

Документ, достоверность которого ставится под сомнение, выданный папой Целестином II 9 декабря 1143 г. и упомянутый в булле «Ех parte dilectorum» папы Григория IX от 17 августа 1229 г. вроде бы подтверждает, что этот госпиталь передан в ведение ордена госпитальеров Св. Иоанна; правда, подразумевалось, что госпиталь Святой Марии должен иметь приора германского происхождения. В архивах департамента Буш-дю-Рон сохранилась копия текста буллы Целестина И. Если допустить достоверность документа, то он действительно подтверждает существование странноприимного дома, основанного упомянутым немецким купцом и его супругой. Существование госпиталя Св. Марии подтверждено отрывком из текста историка Жака де Витри, спустя столетие ставшего епископом Акры. В своей «Восточной истории», в книге I, которая охватывает период до 1193 г., хронист упоминает об этом событии: «Тогда как после освобождения Святой город был населен христианами и многочисленных германских паломников, приезжавших в Иерусалим, понимали, ведь они разговаривали на родном языке, Божией милостью один достойный и благочестивый немецкий купец, проживавший в городе с супругой, основал на свои собственные средства приют, предназначенный для бедных и больных германцев. Поскольку множество его соотечественников обращались только к нему, так как говорили на одном с ним языке, то, с согласия патриарха, он построил часовню рядом с приютом во имя Пресвятой Марии, Матери Божией. И тогда многие люди, прежде всего германцы, отказались от своего добра и, побуждаемые любовью к ближнему и самоотверженностью, посвятили себя служению людям». Мариан Тумлер предлагает принять дату «1118 год», предложенную Жаком де Вит-ри, хотя не исключает дату более позднюю  1128 г. Если принять дату 1118 г., то формально не окажется противоречий с легендой об акте милосердия со стороны супружеской пары, приютившей у себя рыцаря, которая впоследствии — приблизительно двадцать лет спустя  создала милосердное заведение.

Меньшее, что теперь можно сказать,  то, что об истоках изначальной организации госпиталя Св. Марии Немецкой в Иерусалиме известно очень немногое. Зато достоверно, что в середине XII в. в Иерусалиме существовал госпиталь и дом для помощи и лечения германских паломников; при нем состоял немецкий приор, а само учреждение было вверено власти госпитальеров ордена Св. Иоанна.Орден госпитальеров берет начало от госпиталя Св. Иоанна, основанного в Иерусалиме в 1070 г. торговцами из Амальфи, дававшего приют и заботившегося о бедных пилигримах. Его основатель, Мауро ди Панталеоне, организовавший такой же госпиталь в Антиохии, умер в 1071 г.; дальше его финансово поддержала амальфийская община. Этот госпиталь-приют находился в квартале Муристан между базарной улицей и церковью Гроба Господня. Во время Первого крестового похода наставник общины Св. Иоанна, некий Жерар, передал информацию осаждающим и тем самым облегчил крестоносцам взятие Святого города. В начале XII столетия госпиталь был преобразован в монашеский орден, который стал называться орденом Госпиталя Св. Иоанна. После смерти блаженного Жерара 3 сентября 1120 г. орден госпитальеров стал одним из самых влиятельных на Святой земле и официально признанным папой. При его преемнике магистре ордена Раймонде де Пюи орден постепенно, с 1137 г., помимо благотворительной деятельности начинает заниматься и военной. Орден принимает активное участие в военных действиях, правда, на первых порах оборонительного характера. К трем традиционным обетам: бедности, целомудрию и смирению, которые приносили обычные монахи, госпитальеры прибавляют еще один  защищать Святую землю с оружием в руках от неверных. Они должны были обеспечивать защиту паломников, посещающих различные святыни. Однако госпитальеры никогда не отказывались от своего первого предназначения; они были распределены но комапдорствам и приорствам, которые, в свою очередь, делились на «нации», или «языки». «Язык Прованса» занимал почетное место, поскольку то был язык учредителя ордена госпитальеров, Жерара. Госпитальеры основали приорат в Европе, в Сент-Жиль-дю-Гар, откуда отправлялись в Святую землю паломники южной Франции. Вероятнее всего, вследствие деления на «языки», госпиталь Святой Марии Немецкой был присоединен к ордену госпитальеров Св. Иоанна и отдан под их под опеку.