何时开始使用墨？迄今仍是一个待解之谜。从史前遗迹可以得知，人类早在新石器时代就开始使用颜料绘制图案。墨的前身可能取自天然矿物，也可能取自燃烧的木炭等。现有的证据表明人工墨的出现不晚于商代后期，科技考古工作者从出土的殷墟甲骨片残留的黑色痕迹作显微化学分析，得知当时人们已经使用一种与后世墨相似的碳料子混合物作为黑色书写颜料，可能取自植物焚烧后的烟垢，与胶性物质混合制成。同时出土的还有石砚和石质研杵，为一组书写用具，表明战国后期已使用固体墨块，与《庄子》中“舐笔和墨”的记载相吻合。
东汉时已经有捏制而成的圆柱形墨块，可直接在砚石上研磨。1974年宁夏固原县东汉墓葬中出土的一块状墨，高6.2厘米，直径3厘米，现存于宁夏博物馆。从松塔状的清晰外表花纹看，该墨应是用墨模印制之物。当时陕西隃糜所产墨品质优良，用作赏赐大臣之物，以至于后来以“隃糜”指代墨。魏晋时期制墨技艺已经到了比较成熟阶段，当时还出现了一些制墨名家，如魏明帝时的韦诞，所制之墨与左伯纸、张芝笔齐名。