Archeologické nálezy svedčia o starobylom osídlení nielen hradu, ale aj jeho okolia už v paleolite. Z obdobia neolitu sa našli stopy bukovohorskej kultúry a zo staršej doby bronzovej, stopy sídliska z doby rímskej a z veľkomoravského obdobia.
Prvá písomná zmienka o Veľkom Šariši pochádza z roku 1217.
V roku 1299 bol povýšený na mesto s tzv. spišským
právom. Mestské privilégia mu udelil kráľ
Ondrej III. ďalšia listina, v ktorej sa po prvý krát
spomína hrad Šariš je dokument -comes de Sarus- uhorského
kráľa Belu IV. z roku 1247. Do roku 1346 mal Veľký
Šariš výsostné postavenie medzi torysskými
mestami (Prešov,Sabinov,Veľký Šariš) v ňom
sídlila správa Šarišskej župy, a tu sa
zhromažďovala župná šachta. Po roku
primát trojmestia prevzal Prešov.
Na východnej strane úpätia hradného kopca v roku 1270 , rád kanonikov sv. Augustina (augustiáni) otvoril svoj prvý kláštor na území dnešného Slovenska. Pôsobil tu až do reformácie r. 1548 kedy sa farnosti a duchovnej správy zmocnili protestanti. Zhruba na pôvodnom mieste tohto kláštora, koncom 17. storočia bola postavená verejná kaplnka zasvätená sv. Alžbete. Dala ju vybudovať Alžbeta Rákocziová, teta Františka II. Rákocziho. Najstaršou kaplnkou vo Veľkom Šariši je kaplnka sv. Kunhuty. Jej štruktúra je veľmi starobilá, má staršie ranogotické prvky.Traduje sa, že bola postavená v prvej polovici 14.storočia. Oproti tejto kaplnky si rodina Rákocziovcov postavilabarokovo-renesančný kaštieľ. Vo veľkošarišskom rákocziovskom kaštieli sa odohrali významné historické údalostí: - počiatok vyjednávania mierovej dohody medzi cisárom Ferdinandom III. A Jurajom I. Rákoczim, dokončenej v Linzi roku 1645. - menovanie Františka II. Rákocziho do hodnosti večného hlavného župana Šarišskej župy r. 1694. - hlavná rezidencia odbojnej šľachty na čele s Rákoczim. - obkľučenie kaštieľa rakúskym vojskom a násilné odvedenie Františka II. Rákocziho 18.4.1701.
Medzi výraznú historickú dominantu Veľkého Šariša patrí ranogotický kostol sv. Jakuba. Svoje počiatky má v druhej polovici 13. storočia. Niekedy v rokoch 1300 – 1310 boli pribudované presbytérium a sakristia. V druhej polovici 17. storočia je kostol prebudovaný v barokovom slohu. Pri ostatnej renovácii v roku 1998-9 boli objavené vzácne fresky zo 14. storočia. Kaštieľu však v roku 1948 zhorela strecha a postupne bol rozobratý ako stavebný materiál. Obyvatelia Veľkého Šariša boli prevážne roľníci, avšak stará trhová tradícia urýchlila ich záujem o remesla a obchod. Stáli sa z nich známi garbiari, plátenníci a čižmári. Tu sa sústreďoval predaj železných výrobkov, hlineného a domáceho riadu i poľnohospodárskych nástrojov. Zo začiatku 16.storočia pochádza prvá správa o škole. Počas reformácie tu zriadili mestskú latinskú školu, ktorá jestvovala od roku 1570 do začiatku 18. storočia. 17. novembra 1912 bola vysviacka štátnej školy postavenej na cirkevnom pozemku za výdatnej pomoci občanov. Budova tvorí dominantu na Námestí sv. Jakuba.
Zvláštnou technickou pamiatkou je komplex vodných turbín pohaňajúcich generátory v šarišskom mlyne. Tieto turbíny sú toho času v renovácii. Mlyn bol postavený v roku 1856. Najprv s mlynským náhonom, postupne bol prebudovaný vodného pohonu na parný a neskôr na elektrický.
Od 1. januára 1989 má Veľký Šariš opäť štatút mesta.