汉白玉主要成分是碳酸钙，它是一种化合物，化学式是CaCO3。基本上它并不溶于水。它可存在于以下形态：霰石、方解石、白垩、石灰岩、大理石、石灰华。可于岩石内找到。动物背壳和蜗牛壳的主要成份。同时，它还是重要的建筑材料。汉白玉质地坚硬洁白，石体中泛出淡淡的水印，俗称汗线，故而得名汉白玉。
    汉白玉是一种名贵的建筑材料，它洁白无瑕，质地坚实而又细腻，非常容易雕刻，古往今来的名贵建筑多采用它作原料。据传，我国从汉代起就用这种宛若美玉的材料修筑宫殿，装饰庙宇，雕刻佛像，点缀堂室。因为是从汉代开始用这种洁白无瑕的美玉来做建筑材料的，人们就顺口说成了汉白玉。
    在我国的新疆和田地区，有一种非常好的建筑装饰村料，它大多呈卵石状。由于这种洁白如雪的白呈半透明状态。还带有晶莹剔透的水色，人们就把这种白石称为水白玉。无独有偶，在北京市的房山区，特别是在南尚乐的石窝村、高庄一带，也发现一种极好的建筑雕刻石料，而且形状、磨光性、透光性都非常好，几乎与水白玉一样，它的颜色也是白而清润，质地纯而细密，因为产于北京西郊的山区，相对于产在河床中的水白玉来说，它就成了名副其实的“旱白玉”了。由于汉白玉的产地距我国历朝首都和古城北京的距离，都比水白玉近得多，因此在皇宫和各种神庙殿堂的装饰建筑中，逐渐取代了水白玉的地位；成了中原大地建筑材料的主宰。后来，由于长时间的流传，人们在传诵中就把旱白玉的“旱”字误传成了汉朝的“汉”，成为今天的汉白玉名称。