Църквата е построена върху основите на няколко по-стари църкви от времето на римския град Сердика, разрушени от набезите на готи и хуни. През II век на това място е имало римски театър, a през следващите векове са издигнати последователно няколко храма.

Църквата представлява кръстокуполна базилика с нартекс, три кораба и тристенна апсида. Историята на София е тясно свързана с храма „Света София“ (на гръцки: Αγία Σοφία), който подобно на „Света София“ в Константинопол е посветен на „Премъдростта Божия“ – едно от имената на младия Исус Христос.

Това, а не изхождащото от него име на мъченицата София, става и названието на града от ХІV в. нататък. Храмът е най-древната светиня на града, построена в най-високата му по онова време част и прочула го надалеч из Римската империя. Първият раннохристиянски храм е издигнат вероятно в началото на IV век, веднага след едиктите в 311 и 313 г., недалеч от античната арена на Сердика, където са загинали християнски мъченици (част от останките на построената през II век арена са в непосредствена близост, под сегашния „Хотел Арена“ и „Гьоте институт“) и сред източния езически и християнски некропол на Сердика. Вероятно е предназначена да бъде мартириум (параклис на гроба на мъченици) или гробищна църква (там по-късно е намерен сребърен реликвиар). Построяването на тази, а не е изключено и на следващата, църква на това място едва ли е станало без одобрението и подкрепата на император Константин I Велики, който често е отсядал в града.

Най-старата по-голяма църква на същото място, чийто под с римски мозайки е запазен до днес, е базилика от средата на IV век. През 343 г. тя става седалище на известния Сердикийски събор. До VI век в сградата са направени множество промени и основни престроявания. В средата на века църквата е така пострадала от нашествията на хуни и готи, че император Юстиниан Велики заповядва тя да се изгради отново като голяма базилика, посветена също на Божията премъдрост. Смята се, че оттогава вече над 1400 години тя неотменно носи това име. Предполага се, че нейната архитектура е резултат на грузинсковлияние на имперски и строителни първенци произхождащи от тези кавказки земи. След 809 г. когато хан Крум включва Средец в държавната територия на България и особено след покръстването й през цялото българското средновековие храмът продължава активно да се използва предимно като градска съборна църква и обичайно място за погребения, поради близостта на градския некропол. По времето на Второто българско царство (XII – XIV век) тя придобива статута на катедрална митрополитска църква.

След османското нашествие базиликата е превърната в джамия – издигнати са минарета и са унищожени уникалните стенописи (открити са следи на такива от XII век, предхождащи тези от Боянската църква). Най-вероятно сградата за пръв път е разрушена по време на земетресението от средата на XV век. В края на XVI век тя е отново възстановена като джамия от османския велик везир от хърватски произход Сиявуш паша. Отново през 1818 г. и 1858 г. сградата пострадва сериозно от силни земетръси, минарето пада и сред турците се пуска мълвата, че са разгневили гяурския Господ и джамията е окончателно изоставена. Оцелялата част е превърната на склад и се използва като такъв до Освобождението, когато на 4 януари 1878 г. пред сградата с благодарствен молебен тържествено са посрещнати войските на руските освободители на генерал Гурко.

Камбаната е окачена на високо вековно дърво в градината пред входа.

Църквата днес няма камбанария. Камбаната ѝ е окачена на високо вековно дърво в градината пред входа. Твърди се, че това е знак на почит и памет именно на освобождението от османско владичество, защото камбаната е биела точно оттам на благодарствения молебен при посрещането на руснаците.

За кратко към края на XIX век сградата е била използвана като наблюдателната кула на столичната пожарна команда. Първото съвременно възстановяване и основна реконструкция на храма приключва през 1930 г. На 21 септември същата година църквата е осветена. През 1935 г. се извършва системно проучване и реставрация под ръководството на професор Богдан Филов и архитект Александър Рашенов. През 1955 г. храмът, както и другата по-стара от нея сграда оцеляла от римската епоха на Сердика, ротондата „Св. Георги“, е обявен за паметник на културата. Днес храмът е възстановен като трикорабна кръстокуполна базилика с три масивни олтара. Църковните ритуали при избирането на българските патриарси в ново време са свързани с този древен храм. Реставрацията на екстериора на църквата е извършена в периода 1980 – 1981 г. по проект и под ръководството на арх. Хр. Ганчев и арх. Д.Дамянов от Националния институт за паметниците на културата. През 1986 г. колектив с ръководител арх. Хр. Ганчев разработва Концепция и програма за консервация, реставрация и експониране на интериора на църквата „Св. София“. Работата по консервацията и експонирането на интериора и гробниците е извършена по проект на арх. В. Китов и е завършена в периода 2012 – 2013 година.

Археологическите проучвания, а и случайни изкопи непрестанно разкриват нови страни на християнската древност, съхранили се тук. През 1980-те и 1990-те години, след като църквата отново е реставрирана и консервирана с образ най-близък с късноантичния и средновековен оригинал, а на южната й фасада е изграден главният официален мемориал на Република България – Паметникът на Незнайния воин („Вечният огън“, проект на арх. Н. Николов), най-неочаквано под нея и в непосредствена близост са открити още няколко гробници и катакомби. Това дава ход на сложен дългогодишен архитектурно-исторически проект за подробно изследване, реставрация и експонация на целия християнски култов комплекс.

От англо-американските бомбардировки на София в 1944 г. пострадала подобно на катедралата „Свети Александър Невски“, паметникът на Незнайния войн долепен до нея е сериозно увреден. Днес напълно реставрирана, базиликата „Света София“ е сред най-значимите архитектурни ценности, запазени от ранното християнство в Югоизточна Европа със световно значение.

В градинката от източната страна на църквата е погребан писателят Иван Вазов.