Родился 12 июня 1951 года в Ереване в семье выходцев из города Муш (Западная Армения). В 1972 году окончил факультет технической кибернетики Ереванского политехнического института, получил квалификацию инженера вычислительных машин.

В 1972-74 гг. А.Маргарян - научный сотрудник, старший инженер в Ереванском филиале Всесоюзного научно-исследовательского института газовой промышленности.

Андраник Маргарян с юности был ориентирован на идеи армянского государственного деятеля Первой Республики (1918-1920 гг.), автора националистической идеологии "Цехакрон" ("религия рода", - прим. "Кавказского узла") философа Гарегина Нжде. С 1966 года А.Маргарян выступал с критикой советской тоталитарной системы и видел будущее армянского народа в независимом демократическом армянском государстве. С 1968 года он был членом нелегально действующей в советские годы Национальной объединенной партии, с 1973 года являлся членом Совета НОП. За эту деятельность в 1974 году А.Маргарян был арестован и осужден к лишению свободы на два года.

В 1977-78 гг. А.Маргарян - главный инженер в научно-исследовательском институте энергетики Армении. В 1978-79 гг. - начальник отдела электронно-вычислительных машин на электротехническом заводе.

В 1979-90 гг. А.Маргарян - зав.отделом электроники в республиканском информационно-вычислительном центре Министерства торговли. 1990-94 гг. - руководитель отдела информации Государственного управления специальных программ. 1994-95 гг. - младший научный сотрудник Армянского государственного политехнического университета.

С 1992 года Андраник Маргарян - член Республиканской партии Армении, позднее - член Совета РПА.

В годы карабахской войны А.Маргарян принимал активное участие в работе по созданию добровольческих отрядов, отправке в Арцах оружия, боеприпасов и продовольствия, участвовал в боевых действиях. С 1998 года - член Добровольческого Союза Еркрапа ("еркрапа" - "защитник края", - прим. "Кавказского узла"), позднее - член правления ДСЕ.

1995-1999 гг. - избран депутатом Национального Собрания первого созыва. В 1999 году вновь избран депутатом Национального Собрания, руководил фракцией "Единство".

27 октября 1999 года Андраник Маргарян был одним из переговорщиков, уговоривших сдаться террористов, устроивших бойню в зале заседаний парламента Армении.

В октябре 1999 года А.Маргарян перенес сложную операцию на сердце. В 2001 году, по итогам обследования в Париже, Маргарян вновь проходил курс лечения.

В 2000 году Андраник Маргарян указом президента Армении Роберта Кочаряна назначен премьер-министром Республики Армения, являясь одновременно председателем Республиканской партии Армении.

После выборов в Национальное Собрание РА в 2003 году А.Маргарян продолжил работу на этом посту, возглавив коалиционное правительство, сформированное в результате выборов.

Премьер-министр и руководитель правящей Репсубликанской партии Армении Андраник Маргарян скоропостижно скончался 25 марта 2007 года. Смерть наступила в результате инфаркта миокарда.

А.Маргарян был женат, у него остались две дочери, сын и пятеро внуков.