陶谦，字恭祖，丹阳郡人，性格刚直，有大志。陶谦的父亲，曾经担任过馀姚县长。陶谦幼年时父亲去世，少年时以性格放浪闻名县里，十四岁时以布作为战旗，骑着竹马与乡里小孩子一起嬉戏。
他的同乡、曾任苍梧太守的甘公出门时遇见陶谦，见到陶谦的外貌不凡，于是叫上车来与他交谈，感到非常高兴，把自己的女儿嫁给了陶谦，甘公的妻子对此非常愤怒，但是甘公对妻子说：“这个孩子外貌奇特，长大后必成大器。”
结婚之后，陶谦的性子变得沉稳多了，再加上岳母的冷嘲热讽，陶谦居然发奋了。他原本就聪明，这一发奋，竟然一发不可收拾了。先是考上诸生，在州郡为官，后被举为茂才，拜尚书郎，先后出任舒县令、卢县令，其后迁幽州刺史，被征拜为议郎。
议郎是比六百石的官职，属光禄勋管辖，主司顾问应对，参与朝政。在本朝，官儿做到议郎，就算腾飞在即了，哪一天得到天子的赏识，立刻就会成为两千石的高官。果然，不久之后，陶谦由文转武，被任命为扬武校尉，跟着皇甫嵩西征去了。
皇甫嵩的磊落恢宏，令陶谦大为倾倒，两人相处甚欢。可是，皇甫嵩是一个纯粹的军人，得罪了中常侍赵忠、张让，在他们的诽谤下被贬官削爵。朝廷另委派司空张温为车骑将军前往讨伐。张温请陶谦为参军，接遇甚厚，但陶谦素来轻蔑张温的作为，再加上张温是夺了老上司皇甫嵩的兵权，心中忿忿不平。
后来大军回朝，陶谦在百官宴会上喝多了，大声嚷嚷起来：“昔日，皇甫义真百战百胜，却被调回京师，张太尉百战不胜，却得享大名，天道不公呀！”这句话当众揭了张温的伤疤，张温大怒，大喝道：“原来陶恭祖还是个良将，我以前竟然不知，明日就请恭祖前往西凉，一力剿贼好了！”
“去便去！我陶谦岂是贪生怕死之辈？”陶谦掷杯于地，霍然而起了，星夜赶往西凉。张温酒醒之后，大为懊悔，在别人的劝说下才将陶谦追回。张温于宫门迎接陶谦，陶谦并不领情，但张温对陶谦还是像以前一样好。
中平五年十月，青、徐两州黄巾复起，攻打郡县。朝廷任命陶谦为徐州刺史。陶谦就任徐州刺史时，徐州刚刚经历过战火，满目疮痍，缺粮少兵，百姓惊恐不安。陶谦是个明白人，立刻表荐下邳人陈登为典农校尉，在徐州境内实行屯田。
陈登出生于徐州大族陈氏，为人爽朗，性格沈静，智谋过人，少年时有扶世济民之志，并且博览群书，学识渊博。陈登刚一上任，便兴修水利，推广屯田。数年之内，徐州就变得仓廪充足，良田遍地了。
百姓富足，谷米屯满粮仓，青州、豫州等地的流民（如郑玄、许劭等）也纷纷涌向徐州。一看手中有了粮食，陶谦便放开手脚，大干一番事业了。他所谓的事业就是建造大浮屠寺，可容三千余人，僧侣悉数课读佛经。又以信佛免役作号召，招致人户五千余，“每浴佛，多设酒饭，布席于路，经数十里，民人来观及就食者且万人”
陶谦的部下，大多数都出于徐州本地的世家大族。任用徐州富商麋竺为别驾从事，任命与自己同郡的笮融督管广陵、下邳、彭城运粮，任用琅玡人赵昱、东海人王朗为别驾及治中从事。有了徐州世家大族的支持，陶谦自然坐稳了徐州刺史的位子。
孔融和陶谦两人，一个恃才傲物，自命不凡，一个底蕴深厚，靠山强硬，议论起袁术袁公路来，自然不会有什么好话。“汝南袁氏四世三公，竟然生出了这样一个蠢笨如猪的嫡子！真是可笑至极！”孔北海先开了第一炮。“褪去了袁公路袁家嫡子的那一张皮，里面包着的全是稻草！拿来称一称，童叟无欺三两三！”
张扬和陶谦都被孔北海的这一句俏皮话儿给逗笑了。陶谦笑着用筷子指指孔北海。“文举兄，抛开其中的刻薄，你说得倒是有几分道理！大汉天下一十三州，最富庶的是并州，最精锐最有战斗力的军队也在并州。讨伐董卓，竟然没有大司马吕布的份儿，真是奇哉怪也！”
“可不是？本来是十八路诸侯，刚刚起兵就少了一路，马腾韩遂和董卓讲和了！真是不祥之兆呀！”张扬长叹一声，打眼看孔融、陶谦二人的反应。他已经暗地里投靠了并州军，心中早就有了底儿，剩下的就好说了，坐山观虎斗呗。万一有问题，把队伍向东北一拉，背靠并州，看哪个不长眼的敢来扎刺儿？
“唉！”孔北海打个唉声：“袁公路手里明明有一副好筹码，谁知道被他打烂了，他一系的诸侯，如今就剩下乌程侯孙坚和广陵太守张超了。鲍信、张邈两个是曹孟德的跟班儿，你我三人是孤魂野鬼。剩下的都是冲着袁本初去的。”