音の色

J.J.ギブソンの「生態学的知覚システム」を読んでいて、 視覚と聴覚の違いとして反射情報に対する解釈の話が出てきた。

視覚の場合、ある面での反射光は反射面のもつ色という特性 として理解される。その波長の色を有するという光源の特性として 理解されることは通常は起こらない。
一方、聴覚では逆に、反射音は音源の特性を表すものとして 理解される。あらゆる音を跳ね返す壁が「白い」と言われたり、 あらゆる音を吸収する壁が「黒い」と言われたり、特定の周波数帯を 跳ね返しやすい壁（そもそもあるのか知らないが）が「赤い」とか 「青い」とか言われたりすることはない。

この違いは、光が電磁波で、音が空気を媒質とした振動だということに 由来するのだろうか。
仮に、多くの物体の音に対する反射・吸収特性の周波数依存性が高かったら、 聴覚に色をつけるのは一般的になっただろうか。