Родился 11(23) ноября 1895 года в деревне Кирьяниха (с 1981 года снят с учёта) ныне территория Кинешемского района Ивановской области. Жил в Кинешме, учился в реальном училище, ныне школа №4 им. Д. Фурманова. Работал в нотариальной конторе.

В армии с 1916 года. В 1917 году окончил школу прапорщиков. Участник первой мировой войны, прапорщик. В красной Армии с 1918 года. Участник гражданской войны в 1918-1920 годах на Северном, Северо-Западном и Южном фронтах; командир взвода, роты и батальона.

В 1924 году окончил Высшие курсы командного состава, в 1935 году - 2 курса вечернего факультета Военной академии им. М. В. Фрунзе. Командовал стрелковой ротой, батальоном, полком. С 1938 года - командир стрелковой дивизии. В 1940 году окончил курсы усовершенствования начальствующего состава при Военной академии Генштаба. С апреля 1940 года - комендант 80-го (Рыбницкого) укрепрайона Одесского военного округа.

Участник ВОв с июня 1941 года в должности коменданта 80-го укрепрайона. Обеспечил выполнение боевой задачи и, несмотря на неоднократные лобовые атаки противника, удерживал позиции до получения приказа об отходе. С сентября 1941 года - командир 296-й стрелковой дивизии, которая в составе Южного фронта вела оборонительные бои в районе Запорожья и Донбасса. С февраля 1942 года - заместитель командира, а с мая 1942 года - командир 3-го гвардейского стрелкового корпуса (Южный фронт), который участвовал в Воронежско-Ворошиловградской оборонительной операции.

С июля 1942 года - командующий 56-й армией, которая в составе Южного и Северо-Кавказского фронтов и Черноморской группы Закавказского фронта остановила врага на подступах к северо-западным отрогам Кавказа. С января 1943 года - командующий 18-й армией (Черноморская группа Закавказского фронта). Принимал участие в подготовке Краснодарской наступательной операции. С 11 февраля 1943 года - командующий 46-й армии (Северо-Кавказский фронт), которая освободила Краснодар. В марте-июле 1943 года командующий 47-й армией. В июле 1942 - январе 1944 - заместитель командующего 37-й армией. С января 1944 года – командующий 4-й гвардейской армии (2-й Украинский фронт). Армия под его командованием участвовала в Кировоградской и Корсунь-Шевченковской наступательных операциях. В марте-мае 1944 года – командующий 70-й армией (2-й и 1-й Белорусский фронты). Принимал участие на заключительном этапе Полесской наступательной операции.

С июля 1944 года – командир 28-го гвардейского стрелкового корпуса (1-й Белорусский фронт). Обеспечил прорыв немецкой обороны и освобождение города Люблин (Польша). Успешно действовал в Висло-Одерской операции. Части корпуса под командованием А.И.Рыжова прорвали оборону противника на левом берегу реки Висла и форсировали реку Варта (Польша), а затем прошли более 300 километров, освободив много населённых пунктов и нанеся противнику большие потери в живой силе и технике.

Корпус под командованием А.И.Рыжова участвовал в Варшавско-Познанской и Берлинской наступательной операциях.

После войны продолжал командовать корпусом. С апреля 1949 года – командующий 3-й армией.