Весной 1202 года рыцари со своими оруженосцами  небольшими группками и отрядами стали постепенно стекаться в Венецию. Они переходили Альпы через Большой Сен-Бернарский перевал и затем, минуя села и города Ломбардии, направлялись к «царице Адриатики». Зная разбойничьи нравы крестоносцев, местные жители без особой охоты давали им ночлег, разрешая оставаться в своих домах не более одной ночи.

Дож Дандоло рассудил, что в самом городе этому сброду делать нечего, и распорядился разместить воинов креста неподалеку от города; рыцарей на лодках перевозили на остров Лидо, где они и разбивали свои палатки. На этом острове почти никто не жил. Он был пустынным. Дандоло не зря приказал свезти рыцарей именно сюда. Это было сделано отчасти ради большей безопасности Венеции, но прежде всего потому, что дож хотел, чтобы рыцари почувствовали властную руку «царицы Адриатики». Припасы рыцарям подвозились с перебоями. Но что было особенно нестерпимо для них — это нехватка питьевой воды. Жара все больше усиливалась. Наступил знойный июль. Крестоносцы страдали и от голода, и от жажды. Пошли болезни. Каждый день умирало много людей. Священники только и успевали отпевать покойников. А венецианцы и в ус себе не дули. Казалось, они совсем не беспокоились о крестоносцах, расположившихся на Лидо. В действительности Дандоло прекрасно знал, что там происходит. Но у него были свои планы. Все разыгрывалось, как по нотам. Некоторая часть крестоносцев, правда, покинула Лидо и вернулась домой. Но остальные, изнывая от голода и жажды, тем не менее, находили себе разные утехи: одни пьянствовали, другие сражались в кости... Лагерь воинов христовых на Лидо напоминал прямо-таки настоящий притон. Но Дандоло и не собирался наводить в нем порядок. Он добивался одного: нужно поставить рыцарей в как можно более стеснительное положение. А пока, в предвкушении богоугодных дел, пусть делают что хотят.

Предположения дальновидного дожа, которые он строил еще раньше, заключая договор с послами из Франции, оправдались. В Венецию прибыло гораздо меньше воинов, чем думали набрать сеньоры, главари крестоносцев, год назад. Не могло быть и речи о четырех с половиной тысячах рыцарей: их было вряд ли более тысячи человек. Часть рыцарства, пожелавшего биться за святую землю, избрала другой путь: некоторые сели на фламандские корабли в Брюгге, некоторые погрузились на суда марсельцев, некоторые, минуя стороной Венецию, направились на юг Италии. Венецианцам многие не доверяли. Да и цена, назначенная ими за услуги, иным рыцарям показалась слишком уж высокой. И хотя на Лидо собралось все-таки несколько десятков тысяч воинов, это были большей частью солдаты-пехотинцы, оруженосцы, слуги знатных сеньоров. Вышло именно так, как предвидел дож.

Давно миновал последний срок расплаты крестоносцев с Венецией, а казначейство республики св. Марка все еще не получило всей суммы. Из 85 тысяч марок крестоносцы сумели выплатить только 51 тысячу. Как они ни старались наскрести остальное (не к лицу было благородным сеньорам влезать в долги к презренным торгашам!), но так и не смогли рассчитаться с Венецией. Крестоносцы задолжали ей 34 тысячи марок, — это было немало. Венецианцы по приказу дожа совсем прекратили подвоз продуктов на Лидо. Должники Венеции оказались вдобавок еще и ее узниками. Лодок у них почти не было. А кругом — один синий морской простор, и с небес — целый день палящие лучи солнца. 

  
Как-то под вечер к берегу острова подплыла гондола, из которой вышел слепой сухощавый старец. Властным голосом он приказал всем, сбежавшимся к берегу, выслушать его. То был сам дож Дандсло. Он явился на Лидо, чтобы как следует отчитать неаккуратных крестоносцев. Им уже давно пора отправляться в путь, а они все еще никак не могут заплатить за корабли, которые республика подготовила в срок и в нужном числе. Лето подходит к концу, суда стоят у причалов без дела, государство несет ущерб. «Если не заплатите долга,— знайте, что не получите больше ни еды, ни питья, так и застрянете на этом острове». Этими словами дож, разгневавшийся для виду, закончил свою речь, после чего на той же гондоле отбыл в Венецию.
Среди воинов пошли толки и споры. Сеньоры горячо судили и рядили, как быть. Но сколько ни горячились, никто так и не мог предложить что-нибудь путное. Многие всеми правдами и неправдами старались сбежать с острова. Дезертиров становилось все больше и больше.