我不能同意你的说法. 对于任何语言来说, 语法都是基础, 很难想象不重视语法的人英语会说成什么样子.
语法是否会给交流带来障碍, 这得看什么场合. 如果是简单的日常生活场景, 比如去超市买东西, 在路上问路什么的也许问题不大. 但对于复杂生活场景, 比如去银行开户, 打电话给CIC查询自己的枫叶卡状况...语法不好的话就有很大问题. 更别说在公司上班了.
小孩子的例子太特殊. 事实上并不是小孩子和大人交流没有障碍, 而是因为大人看在是小孩子的份上对他的语法错误比较宽容, 而且会花更多的心思去理解小孩子的说话. 如果讲话的是一个语法错误连篇的成年人, 那么听者的容忍度可就没有那么高了.
不过你最后一句话说的还是挺有道理. 对于什么样的听众得说什么样的语言.