一种行之有效的解决方案是使用Selenium webdriver。

详情请参考我的另一篇博文。

Python使用Selenium Webdriver爬取网页所有内容