很久以前塔城和裕民之间的额敏河水流湍急，给过往行人、车辆带来不便。一个乡绅架了一座独木桥，但不论是行人，还是牛羊马匹，必须交费过桥。1940年，巴什拜有事过桥，恰逢一位穷苦牧民因交不起过桥费而惨遭毒打。他对着大打出手的恶奴怒吼道：“明年你们就不能在这里了”。第二年，巴什拜出资5.5万元建造了一座木质的大桥，并在桥头设立了警卫。这座大桥全长87米，宽6米，载重量25吨，1941年兴建，1942年竣工。大桥的建成方便了来往的民众，被当地人尊称为巴什拜大桥。

1976年国家投资48万元，对巴什拜大桥进行了改建，改建后的大桥为钢筋水泥结构。1978年竣工，共建5个桥墩，每个桥墩相距16.4米，全长90米，宽7米，因地处塔裕边界，故称之为塔裕大桥。为了纪念巴什拜这位民主人士，1983年恢复原名称巴什拜大桥。