Армянин, родился в семье портного-кустаря в городе Шуша Елисаветпольской губернии (Нагорный Карабах). В семье было четверо детей. Спустя несколько лет семья бежала из Шуши и поселилась в Баку. Окончил православную церковно-приходскую школу и трехгодичную торговую школу в Баку. После её окончания работал в Волжско-Бакинском нефтяном обществе конторщиком, счетоводом, помощником бухгалтера. Одновременно по вечерам учился экстерном в гимназии. Член партии с 1918 года. В 1919 году был секретарём подпольного Городского райкома РКП(б) в Баку. Участник подавления Кронштадтского мятежа(1921). С 1921 года обучался в Московской горной академии на металлургическом факультете (окончил в 1927), был секретарем партийного бюро академии и одновременно работал зам. зав. отделом пропаганды и агитацииЗамоскворецкого райкома партии. Тогда же познакомился с работавшей в том же райкоме своей будущей супругой Ольгой[1]. Делегат 10-го съезда Советов (23—27 декабря 1922) в Москве. На 16-м съезде партии был избран членом ЦКК-РКИ и назначен заведующим отделом чёрной металлургии, однако, как утверждает его собственный сын, не захотел занимать эту должность и попросил Орджоникидзе послать его работать на завод «Электросталь». С 1927 года — помощником мастера, мастером, начальником сталеплавильных цехов и главным инженером завода на заводе «Электросталь» Московской области. В 1931—1936 годах управляющий объединением заводов качественных сталей и ферросплавов «Спецсталь»Наркомтяжпрома. В 1936—1939 годах начальник главка, 1-й заместитель наркома оборонной промышленности СССР. В 1940—1948 годах нарком, затем министр чёрной металлургии СССР, руководил грандиозной работой по эвакуации металлургических предприятий Юга и Центра на восток страны. 28 сентября 1942 года И. В. Сталиным было подписано Распоряжение ГКО от № ГКО-2352сс «Об организации работ по урану». В соответствии с этим документом лично курировал поставки продукции своего ведомства в адрес лаборатории атомного ядра. 8 декабря 1944 года И. В. Сталиным было подписано Постановление ГКО от № ГКО-7102сс/ов «О мероприятиях по обеспечению развития добычи и переработки урановых руд», И. Ф. Тевосян был привлечён к работам по добыче урановой руды как сопутствующего сырья при выработке существующих месторождений. В 1948—1949 годах министр металлургической промышленности СССР. В 1949—1956 годах заместитель председателя Совета Министров СССР, одновременно в 1950—1953 годах министр чёрной металлургии СССР. С 1956 до смерти — посол СССР в Японии. Умер от рака. После смерти был кремирован, прах помещён в урне в Кремлёвской стене на Красной площади в Москве.