После успешного штурма оборонительных сооружений города между крестоносцами и Византией установился непрочный мир. 24 мая 1203 года флот отбыл из Корфу и направился в Эгейское море. Миновав без каких-либо проблем Дарданеллы, 23 июня корабли прошли под стены Константинополя. Они не стали осуществлять высадку в европейской части города и пристали к Халкидону (Кады-кёю) на западной оконечности южного входа в Босфор. 26 июня крестоносная армия высадилась и двинулась вдоль берега, чтобы разбить лагерь в Скутарионе, развернувшись лицом к раскинувшемуся за Босфором Константинополю. Зная, что одной из главных причин таких действий крестоносцев была нехватка продовольствия, император Алексей III 2 июля предложил снабдить провизией и деньгами участников Четвертого Крестового похода, если они обязуются покинуть земли Византии. Однако руководители крестоносцев объявили о своей поддержке претензий Алексея Ангела и потребовали, чтобы император отрекся от престола. Алексей Ангел подошел с 10 галерами прямо к городу со стороны прикрывающей его с моря стены и призвал византийцев выступить в его поддержку, но безрезультатно.

Руководители крестоносцев решили теперь оказать поддержку Алексею Ангелу, используя военную силу, и 5 июля пересекли Босфор. Император Алексей III направил на защиту этого района малочисленную армию, но она не произвела никакого впечатления на крестоносцев, которые атаковали мощные укрепления в районе Золотого Рога (так называемую Галатскую башню). Бой бью ожесточенным, но явно неравным. На следующий день башня была взята. Теперь крестоносцы контролировали северную оконечность плавучего бона через Золотой Рог - массивной железной цепи, скреплявшей огромные бревна. Крестоносцы, судя по всему, отцепили бон, и венецианские суда вошли в Золотой Рог, захватив, спалив или заставив выброситься на берег византийские корабли.

Крестоносная армия была довольно многочисленной, и ее командующие понимали, что необходимо сосредоточить свои атаки на ограниченном участке городских укреплений. Они выбрали северо-западную оконечность города, где наземная атака могла быть поддержана венецианским флотом. Для этого крестоносцы 10 или 11 июля пересекли Рог и заняли осадные позиции напротив Влахернского дворца. Тем временем венецианцы установили на своих кораблях осадные машины и приготовили штурмовые лестницы.В течение примерно недели обе стороны с помощью осадных машин метали друг в друга тяжелые камни, причем камни, выпущенные крестоносцами, достигали дворца, а камни византийцев - палаток осаждающих. Первая серьезная попытка штурма на участке Влахернского дворца была предпринята 17 июля, однако крестоносцы потерпели поражение и понесли существенные потери в боях с состоящими на византийской службе пизанцами, англичанами и датчанами. Венецианские корабли действовали более успешно и смогли установить контроль над 25-30 башнями, стоявшими напротив Золотого Рога.


В этот момент Алексей III предпринял крупную вылазку на фланге крестоносцев. Она началась утром 17 июля, когда император Алексей III во главе сильного отряда выступил из города через ворота Св. Романа. Основные силы создавали угрозу лагерю крестоносцев и флангу их конницы. Другой сильный пеший отряд должен был вклиниться между укреплениями и лагерем крестоносцев. Все шло к полномасштабному сражению, крестоносцы привели в боевую готовность свою конницу и развернули пехоту напротив византийцев. Две армии двинулись навстречу друг другу, но разногласия между командирами крестоносцев привели к тому, что атака осуществлялась медленно и неорганизованно. Ситуацию также осложнял проходивший между армиями «большой канал» - протока, по которой в Константинополь поступала пресная вода. Решив, что пересекать ее опасно, командиры крестоносцев предпочли отступить, чтобы обсудить варианты дальнейших действий.

Император Алексей III в свою очередь отошел за городские укрепления. Тактически его вылазка сработала. Венецианцы были вынуждены оставить захваченные ими позиции, чтобы поддержать крестоносцев, однако при этом они подожгли здания, находившиеся рядом со стенами Золотого Рога. Вскоре огонь вышел из-под контроля и распространился по окрестностям, что в значительной степени повлияло на решение Алексея III отступить. Этот первый пожар в Константинополе полыхал до 18 июля и уничтожил здания на площади примерно 1,25 км2.Пожар и отступление императора вызвали возмущение жителей Константинополя - вскоре Алексей III понял, что его больше никто не поддерживает. Опустошив сокровищницу и захватив с собой огромные богатства (почти 500 кг золота), император Алексей III под покровом ночи сбежал в соседний Адрианополь.Византийский двор восстановил на престоле Исаака II, однако крестоносцы настояли, чтобы сын Исаака II - Алексей Ангел - был сделан его соправителем, а также чтобы новые императоры выполнили обязательства Алексея в отношении продовольствия, денег и войск. В конце концов византийцы согласились, и 1 августа 1203 года Ангел был коронован под именем Алексея IV. Казалось, что операция Четвертого Крестового похода успешно завершилась, обеспечив воинам Христа ресурсы, в которых они так нуждались.

Но фактически византийские правители были не в состоянии предоставить крестоносцам обещанные средства, продовольствие и военные контингенты, хотя и первые выплаченные суммы позволили крестоносцам заплатить свои долги венецианцам. В отчаянной попытке добыть средства для оплаты услуг недовольных крестоносцев, новые соправители приказали расплавить драгоценные оклады икон и конфисковали сокровища церкви, что сразу же сделало их чрезвычайно непопулярными среди жителей Константинополя.С течением времени обе стороны оказывались во все более трудном положении. Руководители крестоносцев не имели возможности выполнить данное своим воинам обещание, что Крестовый поход продолжится в направлении Святой земли, а Исаак II и Алексей IV оказались перед дилеммой: чьи требования исполнять -крестоносцев или собственных подданных. Император Алексей IV предложил силами объединенной византийско-крестоносной армии взять Адрианополь и в середине августа 1203 года повел туда 6000 венецианских крестоносцев.К этому моменту население Константинополя находилось на грани восстания. В августе то туг, то там возникали волнения, жители города нападали на латинские районы - пизанский и амальфитанский. Оставшиеся в живых латиняне бежали оттуда и присоединились к крестоносцам; на следующий день группа вооруженных латинян предприняла ответные меры, переправившись через Золотой Рог и спровоцировав новый пожар, который полыхал до 21 августа.

Горожане обвинили императора Алексея IV в том, что он привел латинян в Константинополь. Молодой правитель попытался разогнать оппозицию, но его популярность стремительно падала; пытаясь избежать крайних мер, он 1 декабря 1203 года объявил о приостановке дальнейших выплат крестоносцам. Со своей стороны крестоносцы хотели получить то, что император им обещал -средства на продолжение их похода в Святую землю. Чтобы оказать давление на византийцев, они разорили окрестные земли. Пока обе стороны конфликтовали меладу собой, поддержку значительной части населения сумел завоевать византийский аристократ Алексей Дука.Хотя византийские правящие круги так и не смогли договориться о своем отношении к крестоносцам, значительные силы все же были направлены на укрепление обороны города. 25 января 1204 года терпение византийцев наконец лопнуло. Взбунтовавшиеся жители города вышли на улицы, а когда Алексей IV обратился к крестоносцам за поддержкой, Алексей Дука бросил его в тюрьму. В это время скончался его отец и соправитель Исаак II. Теперь Алексей Дука объявил себя императором Алексеем V и был коронован 5 февраля 1204 года. Некоторое время казалось,что у византийцев появился решительный правитель, который сможет объединить население в борьбе против крестоносцев и венецианцев. Однако, латиняне все еще продолжали поддерживать Алексея IV, который оставался угрозой для власти нового императора и поэтому был задушен в ночь на 8 февраля.


Алексей V продолжал укреплять оборону Константинополя.В окрестностях города постоянно происходили столкновения, поскольку обе стороны пытались здесь найти для себя продовольствие. Самый крупный конфликт вспыхнул в феврале, когда император Алексей V организовал засаду против фуражиров крестоносцев во главе с Анри де Эно. Оба отряда были довольно малочисленными, но, когда византийцы атаковали, крестоносцы развернулись в обычное оборонительное построение, выставив перед рыцарями арбалетчиков. Нападавшие бежали, бросив чудотворную икону Богоматери, которая попала в руки крестоносцев -огромная потеря для византийцев.Венецианские руководители Крестового похода активно сопротивлялись любым попыткам Алексея договориться о мирном решении проблемы. Вместо этого в марте 1204 года руководители крестоносцев и венецианцев приняли решение осуществить захват Константинополя и достигли соглашения о разделе Византийской империи. Католические священники убедили крестоносцев, что завоевание православного Константинополя с религиозно-нравственной точки зрения эквивалентно взятию удерживаемого мусульманами Иерусалима. В ожидании предстоящего штурма осаждающие установили осадные машины и штурмовые лестницы на кораблях, поскольку византийцы возвели над стенами деревянные надстройки, сделав их еще выше.