189 8069 5689

Python常用爬虫代码总结方便查询-创新互联

beautifulsoup解析页面

创新互联公司主营南岔网站建设的网络公司,主营网站建设方案,重庆APP软件开发,南岔h5微信小程序搭建,南岔网站营销推广欢迎南岔等地区企业咨询
from bs4 import BeautifulSoup
soup = BeautifulSoup(htmltxt, "lxml")
# 三种装载器
soup = BeautifulSoup("

", "html.parser") ### 只有起始标签的会自动补全,只有结束标签的会自动忽略 ### 结果为:
soup = BeautifulSoup("

", "lxml") ### 结果为:
soup = BeautifulSoup("

", "html5lib") ### html5lib则出现一般的标签都会自动补全 ### 结果为:

# 根据标签名、id、class、属性等查找标签 ### 根据class、id、以及属性alog-action的值和标签类别查询 soup.find("a",class_="title",id="t1",attrs={"alog-action": "qb-ask-uname"})) ### 查询标签内某属性的值 pubtime = soup.find("meta",attrs={"itemprop":"datePublished"}).attrs['content'] ### 获取所有class为title的标签 for i in soup.find_all(class_="title"): print(i.get_text()) ### 获取特定数量的class为title的标签 for i in soup.find_all(class_="title",limit = 2): print(i.get_text()) ### 获取文本内容时可以指定不同标签之间的分隔符,也可以选择是否去掉前后的空白。 soup = BeautifulSoup('

The Dormouses story

The Dormouses story

', "html5lib") soup.find(class_="title").get_text("|", strip=True) #结果为:The Dormouses story|The Dormouses story ### 获取class为title的p标签的id soup.find(class_="title").get("id") ### 对class名称正则: soup.find_all(class_=re.compile("tit")) ### recursive参数,recursive=False时,只find当前标签的第一级子标签的数据 soup = BeautifulSoup('abc','lxml') soup.html.find_all("title", recursive=False)</pre> <br> 新闻名称:Python常用爬虫代码总结方便查询-创新互联 <br> 标题网址:<a href="http://ptruijie.cn/article/hoihh.html">http://ptruijie.cn/article/hoihh.html</a> </div> </div> <div class="other"> <h3>其他资讯</h3> <ul> <li> <a href="/article/dpjdohj.html">如何在C程序中添加数据库表——简单易学教程(c程序中添加数据库表)</a> </li><li> <a href="/article/dpjddsp.html">王者荣耀区服务器怎么填?(如何选购服务器)</a> </li><li> <a href="/article/dpjdohe.html">Linux配置多域名:实现企业网络主机管理(linux配置多域名)</a> </li><li> <a href="/article/dpjddch.html">租用的域名怎么连接到服务器上?(租用的域名怎么连接到服务器上面)</a> </li><li> <a href="/article/dpjddse.html">云上云下,实现高效存储与运算——云服务器与云数据库的应用解析(云服务器云数据库)</a> </li> </ul> </div> </div> <footer> <div class="foot container"> <div class="footl fl"> <h3>联系我们</h3> <dl> 您好HELLO!<br> 感谢您来到新都网站建设公司,若您有合作意向,请您为我们留言或使用以下方式联系我们, 我们将尽快给你回复,并为您提供真诚的设计服务,谢谢。 </dl> <ul> <li>电话:028- <span>86922220 18980695689</span></li> <li>商务合作邮箱:631063699@qq.com</li> <li>合作QQ: 532337155</li> <li>成都网站设计地址:成都市青羊区锣锅巷31号五金站写字楼6楼</li> </ul> </div> <div class="footr fr"> <h3>广皓图文建站工作室</h3> <dl> 新都广皓图文网站建设公司拥有多年以上互联网从业经验的团队,始终保持务实的风格,以"帮助客户成功"为已任,专注于提供对客户有价值的服务。 我们已为众企业及上市公司提供专业的网站建设服务。我们不只是一家网站建设的网络公司;我们对营销、技术、管理都有自己独特见解,广皓图文建站采取“创意+综合+营销”一体化的方式为您提供更专业的服务! </dl> <h3>广皓观点</h3> <dl> 相对传统的新都网站建设公司而言,广皓图文是互联网中的网站品牌策划,我们精于企业品牌与互联网相结合的整体战略服务。<br> 我们始终认为,网站必须注入企业基因,真正使网站成为企业vi的一部分,让整个网站品牌策划体系变的深入而持久。 </dl> </div> </div> <div class="link"> <div class="container"> <span> 友情链接:</span> <a href="http://www.nteyrg.com/" title="成都网站维护公司" target="_blank">成都网站维护公司</a>   <a href="http://www.tbiehp.com/" title="四川德阳网站制作" target="_blank">四川德阳网站制作</a>   <a href="http://www.gdahaf.com/" title="成都工商注册" target="_blank">成都工商注册</a>   <a href="http://www.huitianwy.com/" title="成都柴油发电机" target="_blank">成都柴油发电机</a>   <a href="http://www.cdbranddesign.com/" title="成都品牌设计" target="_blank">成都品牌设计</a>   <a href="http://www.scykdjz.cn/" title="杂粮种类" target="_blank">杂粮种类</a>   <a href="http://www.gyjierui.cn/" title="南充建网站" target="_blank">南充建网站</a>   <a href="http://www.kmzheng.com/" title="石牌坊浮雕" target="_blank">石牌坊浮雕</a>   <a href="http://www.hkccoic.com/" title="四川國際商會" target="_blank">四川國際商會</a>   <a href="http://www.kmixuyz.com/" title="不锈钢雕塑定制" target="_blank">不锈钢雕塑定制</a>    </div> </div> <div class="copy"> © Copyright 2023 <a href="http://www.ptruijie.cn">广皓图文建站工作室</a>All Rights Reserved.  <a href="http://beian.miit.gov.cn" target="_blank" rel="nofollow">蜀ICP备2021004003号-2</a>  <a href="https://www.cdxwcx.com" target="_blank">成都网站建设</a> / <a href="https://www.cdxwcx.com" target="_blank">成都网站建设</a> / <a href="https://www.cdxwcx.com" target="_blank">响应式网站建设</a> / <a href="https://www.cdcxhl.com" target="_blank">成都网站设计</a>  <a href="https://www.cdcxhl.com/service/weihu.html" target="_blank">成都网站维护</a> <a href="https://www.cdcxhl.com/news/" target="_blank">其他新闻分类</a> </div> </footer> </body> </html> <script> $(".con img").each(function(){ var src = $(this).attr("src"); //获取图片地址 var str=new RegExp("http"); var result=str.test(src); if(result==false){ var url = "https://www.cdcxhl.com"+src; //绝对路径 $(this).attr("src",url); } }); window.onload=function(){ document.oncontextmenu=function(){ return false; } } </script>