05.肉眼可见的爬虫方法–selenium

前面几个章节,从概念上学习了互联网协议、响应头,在获取数据上面,学习了python原生模块requets的使用,练习了百度翻译接口获取、豆瓣电影排行榜爬取、国家监督管理局中化妆品生产许可的信息,大概明白了requets从请求、获取、到持久化存储的过程是如何实现的。

第二章节,学习了获取数据后,分别用正则表达式、beautifulsoup、和应用最为广泛的xpath方法来解析和定位、匹配所需信息。

第三章节,基于明白了原始原理后,进行了一些升级的爬虫学习,如通过解码平台来自动解析反爬机制的验证码,为了防止短时间内访问过于频繁而禁止ip的代理方法,还有需要登录后才能获取的通过seesion来创建cookie使用方法;为了提高单线程工作效率的建立Pool同步爬取法。

最新章节,相当于在第一和二章节上改进的方法,用本地真实的浏览器真实的完成浏览过程而获取数据,也就是通过selenium方法来获取,原本可能10步的代码,现在2步就可以完成了。原理就是通过浏览器的【检查】来获取对应区域或者部分的定位,然后进行点击、拖拽、输入或者其他操作。需要记住的代码量少很多。

今日案例:用selenium模拟登录12306

要点:

1.网站登录页面验证码为动态更新,需用截图方式保持一次会话方式获取

2.网站的验证码为根据题目点击图片来回答问题方式,图片中可能存在一个或以上个答案

3.接入云解码平台实现复杂验证码自动解析

代码思路:

1.打开登录页面获取全屏截屏

2.定位验证码位置并得到其坐标与大小,在前面的截图裁剪下来

3.提交验证码到云解码平台解码验证码并获得答案

4.通过返回的答案判断需要解析的验证码需要点击几次

5.提交答案

过程遇到的困难:

1.range函数提示错误,到后面才发现是因为这个函数名在前面被我当作一个变量名赋值了,所以后面的range无法生效。

2.selenium的定位函数应用更熟练了些。

3.selenium截屏问题总截不全,后面加了一个最大化窗口命令

4.该网站多访问几次就无法正常打开,应该是做了反爬,唯有模拟正常点击几个页面才能恢复正常

5.网站技术已经更新,在破解完验证码点击登录后,又多了一个滑动条验证,那个后续再想办法了。

50 thoughts on “05.肉眼可见的爬虫方法–selenium

  1. 1) Cena promocyjna. Liczba miejsc ograniczona. Bilety można kupić najpóźniej na 1 dzień przed odjazdem. Bilet nie podlega zwrotowi lub wymianie. Aktualne warunki oferty W pierwszą rocznicę zbrojnej agresji Rosji na Ukrainę w Konsulacie Generalnym Ukrainy w Krakowie spotkali się konsulowie generalni i honorowi z małopolski. W… Po kasynie możecie się jeszcze wybrać do klubu GOGO (na miejscu otrzymacie lożę dla grupy, po 1 piwie oraz karty VIP uprawniające do wielokrotnego wejścia tego samego wieczoru) za jedyne 29 PLN/osoby lub do topowego klubu muzycznego  za jedyne + 19 PLN/os (w cenie wejściówki + rezerwacja stolika). Mało kto zdaje sobie sprawę z tego, że dzieci odgrywały nieraz wielką rolę w historii Polski. Wiązało się to zazwyczaj z tyleż niezwykłym, co wzruszającym…
    https://greenstorage.co.kr/bbs/board.php?bo_table=free&wr_id=142735
    Ponadto dostawcy Lemon Casino online i slotów wideo mogą organizować turnieje dla swoich gier. W ten sposób możesz zarobić bonusowe obroty, a nawet gotówkę. Podczas gdy turnieje na slotach mogą być świetną zabawą, jest kilka rzeczy, które musisz wiedzieć przed przystąpieniem do nich. Żetony kasyno zapewniają operatorom dodatkową warstwę bezpieczeństwa. Firmy hazardowe stałe mogą kontrolować żetony i ich ilość, aby ustalić, czy na przykład pewna ich część nie została wyniesiona poza obiekt. Oprócz bonusów w slotach wideo, Lemon Casino często prowadzi promocje związane z slotami; są one wymienione na stronie promocji. Przy grze w ruletce swoje żetony wartościowe musimy wymienić na żetony kolorowe, ponieważ każdy z siedmiu graczy musi mieć swój własny komplet kasynowej waluty. Żetony kolorowe od wartościowych odróżnia to, że nie mają one na stałe przydzielonej wartości finansowej, ale w trakcie wykupywania kompletu żetonów każdy gracz deklaruje ich wartość. Każdy stolik do ruletki Lucki Bird online ma swój własny komplet żetonów, tak aby nie dopuścić do manipulacji przy robieniu zakładów.

  2. The current price of Oxen is USD 0.129. Kucoin offers BTC, ETH, and USDT pairs. Bittrex offers BTC and USDT pairs, and TradeOgre offers a BTC pair. OXEN also offers a wrapped ERC20 token, wOXEN, which is available on UniSwap. OXEN and wOXEN can be swapped 1:1 using the wOXEN bridge. Get daily stock ideas from top-performing Wall Street analysts. Get short term trading ideas from the MarketBeat Idea Engine. View which stocks are hot on social media with MarketBeat’s trending stocks report. Get daily stock ideas from top-performing Wall Street analysts. Get short term trading ideas from the MarketBeat Idea Engine. View which stocks are hot on social media with MarketBeat’s trending stocks report. It is not possible to buy all cryptocurrencies with U.S. dollars. Bitcoin, Bitcoin Cash, Ethereum, Litecoin and other popular cryptocurrencies can be purchased with U.S. dollars using Coinbase. Once you have purchased Bitcoin using Coinbase, you can then transfer your Bitcoin to an exchange such as Binance to purchase other cryptocurrencies, including Oxen.
    https://wayranks.com/website-list-742/
    This question does not have a plain vanilla answer in ‘yes’ or ‘no’, as the government and the central bank still look unsure as to how to deal with this new-age phenomenon. In 2018, The Reserve Bank of India (RBI) came out strongly and kind of banned these tokens in India. Then in 2020, the Supreme Court of India reversed the RBI ban. That move was welcomed by the crypto exchanges and investors throughout the country. After this, Indian banks have tried to curtail transactions with crypto-exchanges as, in their view, they are governed by RBI. But later, RBI mentioned that banks cannot quote its 2018 ban to customers as it was overruled by the Supreme Court, paving the way for crypto trading to continue in India. Get crypto analysis, news and updates right to your inbox! Sign up here so you don’t miss a single newsletter.

  3. Game apps are ad-supported and no in-app purchases are required to progress; ad-free play option available with in-app purchase. To leave comments, Need Updated version! Got a question, feedback or recommendation?Avg. response time: 20 – 30 minutes Once you brake your customer will hop into your taxi, then it’s up to you to get there. The game physics are very arcade-like, allowing you to take several liberties with gravity and such, while also plowing through traffic, pedestrians, and the like at superhuman abilities. It’s impossible to crash-and-burn, but you will come to sudden stops should you slam into oncoming traffic. Get to the destination with time to spare, and you make a handsome fare. But get there late and you risk your customer simply jumping out mid-ride. If you were really chasing a high score, though, extra cash could be drummed up in tips by performing risky stunts like drifts, jumps and near misses with other vehicles. All sorts of thing that, in real life, would have your passenger clawing at the door handle and shrieking in a register that startles every dog in a five-mile radius. Hey, there’s a reason it’s not called Sensible Taxi…
    https://www.stf-wiki.com/index.php?title=Romulan_Rank
    The Isle was released in 2015 is still marked as an early access game on Steam. Players take on the role of a dinosaur–either a carnivore or herbivore–and are dropped into a server where the goal is simply to survive. You’ll need to scavenge food, potentially battle other dinosaurs, and grow larger. Overall, this is a kill or be killed game best played in a busy server. The developers are looking to add plenty more to the game such as more complex AI, playable aquatic and aerial dinosaurs, and mod support. I feel like the isle is your best bet. The isle is a game that is currently in developpement. You have a main but abandoned version, allied « legacy », and an in developpement version called « evrima ». It has many things : Dino growth, diets, mechanics such as swimming underwater, flying, fishing, each dinosaur is unique in its own way. However updates take time to come, but each new Dino has been really worked on.

  4. I am sorting out relevant information about gate io recently, and I saw your article, and your creative ideas are of great help to me. However, I have doubts about some creative issues, can you answer them for me? I will continue to pay attention to your reply. Thanks.

  5. Поддерживаемые форматы: JPG, JPEG, PNG, BMP, GIF. Массажёр генерирует микротоки благодаря солнечной батарее, расположенной на рукоятке гаджета. Во время использования производитель рекомендует не закрывать батарею рукой. Важно: во время массажа с ReFa не чувствуется вообще ничего – ни покалывания, и подергивания мышц. Это нормально, так как сила тока, генерируемая массажером, очень малая – до 14 мКа, в случае с моделями Ray (у них усиленная батарея). Синий (400-510 нм): обладает антибактериальным и успокаивающим эффектом. Идеально подходит для проблемной кожи, склонной к высыпаниям. Эффективно предотвращает распространение пропионовых бактерий акне. Используйте синий свет после косметологических процедур для устранения покраснений и отеков. Первые признаки старения чаще всего проявляет кожа за 30. В это время дерма вырабатывает меньше коллагена, который отвечает за ее упругость и эластичность. Считается, что с каждым годом его количество сокращается на 1%. Приостановить этот процесс поможет домашний массажер для лица. Даже самый простой прибор улучшит кровообращение, а значит и состояние тканей.
    http://www.helplife.biz/bbs/board.php?bo_table=free&wr_id=68461
    Поэтому я вооружилась пятью такими тюбиками и отправилась в долгий путь за ресницами и бровями «Кара-Делевинь-стайл». Мой крестовый поход продлился девять месяцев. Каждым средством я пользовалась около 4-5 недель, делая перерыв в 2-3 недели, дабы нивелировать предыдущие достижения. Восстанавливают рост ресниц при помощи растительных масел ( , ), различных компрессов. Внутрь принимают витамины. Однако теперь в аптеках достаточно широко представлена уходовая косметика, которая призвана бороться с проблемой в более короткие сроки, чем народные средства, и показывает лучший результат. Кстати, применяются она и для бровей. Точное количество бонусов к начислению вы узнаете на странице заказа Каплю сыворотки нанести на горизонтально удерживаемый аппликатор. Провести аппликатором по верхнему веку, по линии, где растут ресницы. Движение выполнять от внутренней части века к внешней. Нижнее веко смазывать не нужно. Излишки средства удалить с помощью ватного диска (промокнуть).

  6. Registrujte sa a užite si bonus až 600 € PokerPool comes with a different version of hitting balls into poker card marked pockets. Create the best hand and see this lovely girl stripping and playing with her nice body. Play erotic Texas Holdem Poker with your favorite opponents and win some cash. If you’ll be successful you can strip down other players or yourself. But in general this game is more about the poker, not much like a sex game. Registrujte sa a užite si bonus až 600 € Ani PokerStars (známa aj ako PokerStars) nevlastní licenciu pre poker online. Spoločnosť stojaca za online pokerovou herňou krátky čas ponúkala online poker dokonca bez licencie, v dôsledku čoho sa jej stránky dostali na Zoznam blokovaných webov a v súčasnosti sa na webstránku online pokerovej herne, online kasína alebo športových stávok, ani nedostanete.
    http://www.seoulml.co.kr/bbs/board.php?bo_table=free&wr_id=94213
    Existuje niekoľko spôsobov, ako navýšiť zostatok na svojom hráčskom účte. Jedným z nich je i casino platba cez kredit. Namiesto toho, aby ste uhradili vklad dodatočne vo forme faktúry od mobilného operátora, pri vklade cez kredit urobíte okamžitú platbu cez mobilný telefón a prostriedky vám budú, rovnako, okamžite pripísané na účet v kasíne. Táto forma dobíjania je stále populárnejšia medzi online hráčmi slovenského online kasína. Čoraz viac ju hráči využívajú a podľa potreby si dobíjajú kredit do hry. Akonáhle budeme mať na svojom telefóne stiahnutú aplikáciu mobil Bet365, máme prístup ku všetkým ponukám stávkovej kancelárie. Môžeme teda samozrejme vsádzať na zápasy, ale tiež máme prístup k live prenosom. Teda na každom mieste môžeme sledovať naživo zápasy, ktoré nás zaujímajú. Možnosť vsádzať pomocou mobilného telefónu má mnoho stávkových kancelárií. Ale len veľmi málo z nich umožňuje sledovať live prenosy.

  7. In fact, The Rank Group had a highly-successful night at the awards, with Mecca Bingo taking home three titles – Best Mobile Bingo Site, Best Playtech Bingo Site, and Best Live Stream Entertainment – and Mecca Games named the Best Slots Site. **18+. New customers only. Use code BINGO. £20 in Bingo Bonus for first deposit of £10. Available for purchasing Bingo tickets only. 3-day expiry on the Bingo Bonus. 4x wagering on Bonus. Bonus amount can’t be withdrawn. £10 min deposit + 2.5% fee (min 50p). Not available using Neteller or Skrill. Cash balance withdrawable anytime + £2.50 fee. Full T&Cs apply. The bingo on offer at Ladbrokes comes in many variants of 36, 50, 75 and 90-ball games, including great bingo specials and also multiplayer games. There are 13 rooms in total including big brands such as Friends and Coronation St bingo, as well as plenty of progressive jackpots worth tens of thousands!
    http://kulionline.blogspot.com/2012/04/new-bet-games-double-your-money.html
    For the first 5 draws of a new game These Early Bird Value Added Windows will have prizes associated with them in addition to the weekly cash prize 4. Charlotte Hornets (27-55) – 12.5%       Disclaimer: TTT Titles & Icons, Content Copyright © The Trinidad and Tobago Television Limited You can pick from Fantasy 5, Powerball, Jackpot Triple Play, Mega Millions, Cash4Life, Florida Lotto, Pick 2, Pick 3, Pick 4, Pick 5, and CASH POP. You must be 21 years of age or older to play the games of the Mississippi Lottery. If you’re unable to catch the drawing live, head over to the Numbers page to see the latest results, or use the Ticket Checker to find out if you have won a prize in recent draws. To return to the Lotteries web site, click on your browser’s “Back” button or click on “Lotteries” in the games menu of the Espacejeux web site.

  8. The WGS Technology games published at Miami Club are grouped into the following categories: Slots Games, Table Games, Video Poker and Specialty Games. The key accent is made on pokies and they are further subdivided into three categories based on the number of reels. Every game has a Read More link that opens a short description with key features of that game, including its RTP value. There are around 10 games with a progressive jackpot and virtually all of them have a 3-reel layout, for example, Triple Wild Cherry, Ultimate 10 Wild, and other progressive solutions by WGS. Information on currently available jackpot games is published on a dedicated Jackpots page with links to these games and the latest jackpot values. Other games hosted on Miami Club include Video Poker, Keno and Dice games such as ‘Dazzling Dice’ and ‘Poker Dice’. There is also a separate section for Tournaments, where you can enjoy lots of play on a variety of games for a small buy-in. Miami Club Casino does not currently feature a live dealer casino.
    http://giltour.co.kr/main/bbs/board.php?bo_table=free&wr_id=17039
    Koon is quick to point out that even with access to the solvers’ perfect strategy, poker remains an incredibly difficult game to play well. The emotional swings that come from winning or losing giant pots and the fatigue of 12-hour sessions remain the same challenges as always, but now top players have to put in significant work away from the tables to succeed. Like most top pros, Koon spends a good part of each week studying different situations that might arise, trying to understand the logic behind the programs’ choices. “Solvers can’t tell you why they do what they do — they just do it,” he says. “So now it’s on the poker player to figure out why.” In Hold’em, as with other forms of poker, the available actions are ‘fold’, ‘check’, ‘bet’, ‘call’ or ‘raise’. Exactly which options are available depends on the action taken by the previous players. If nobody has yet made a bet, then a player may either check (decline to bet, but keep their cards) or bet. If a player has bet, then subsequent players can fold, call or raise. To call is to match the amount the previous player has bet. To raise is to not only match the previous bet, but to also increase it.

  9. Thank you very much for sharing. Your article was very helpful for me to build a paper on gate.io. After reading your article, I think the idea is very good and the creative techniques are also very innovative. However, I have some different opinions, and I will continue to follow your reply.

  10. Thank you very much for sharing. Your article was very helpful for me to build a paper on gate.io. After reading your article, I think the idea is very good and the creative techniques are also very innovative. However, I have some different opinions, and I will continue to follow your reply.

  11. There is no benefit to a waiting period prior to re use of a kennel after distemper decontamination; either mechanical cleaning and disinfecting was effective, or it was not levitra 10mg orodispersible bayer Patients were randomized to balance for major prognostic factors including site of disease, postoperative adjuvant tamoxifen therapy, bisphosphonate use pamidronate and or zoledronic acid, and study site

  12. Your article gave me a lot of inspiration, I hope you can explain your point of view in more detail, because I have some doubts, thank you.

  13. Быстромонтируемые строения – это актуальные системы, которые различаются великолепной быстротой строительства и мобильностью. Они представляют собой сооружения, состоящие из эскизно произведенных компонентов либо компонентов, которые способны быть скоро установлены на пункте застройки.
    Легковозводимые здания из металлоконструкций цена владеют податливостью и адаптируемостью, что позволяет просто изменять а также переделывать их в соответствии с интересами заказчика. Это экономически продуктивное а также экологически долговечное решение, которое в последние лета заполучило обширное распространение.

  14. Электромеханический стабилизатор напряжения использует двигатели и механические устройства для поддержания стабильного напряжения. Он состоит из автотрансформатора, двигателей, управляющих устройств и системы обратной связи. Когда напряжение на входе меняется, система обратной связи реагирует на это изменение и регулирует двигатели, чтобы поддерживать стабильное напряжение на выходе.

    стабилизаторы напряжения для дома 3 квт https://www.stabilizatory-napryazheniya-1.ru/.

  15. Ограничение перенапряжений: Релейные стабилизаторы обычно обладают встроенными механизмами защиты от перенапряжений, что позволяет предотвратить повреждение подключенных устройств.

    стабилизатор напряжения для дачи https://www.stabilizatory-napryazheniya-1.ru.

  16. Арендовать инструмента в Освоиться с инструментом без В нашем сервисе доступны современные модели Удобное решение для Качественный инструмент выгодно в нашем сервисе
    Арендовать инструмента любых задач
    Сберегайте деньги на покупке инструмента с нашей услугами проката
    Отличный выбор для У вашей компании нет инструмента? Не проблема, на наш сервис за инструментом!
    Расширьте свои возможности с качественным инструментом из нашего сервиса
    Прокат инструмента для строительных работ
    Не тяните деньги на покупку инструмента, а берите в прокат инструмент для разнообразных задач в наличии
    Большой выбор инструмента для осуществления различных работ
    Надежная помощь в выборе нужного инструмента от знатоков нашей компании
    Выгодно с услугами Аренда инструмента для строительства дома или квартиры
    Наш сервис – профессиональный партнер в аренде инструмента
    Профессиональный инструмент для ремонтных работ – в нашем прокате инструмента
    Не знаете, какой инструмент подойдет? Мы поможем с подбором инструмента в нашем сервисе.
    прокат инструмента в перми аренда инструмента.

  17. 🚀 Wow, blog ini seperti roket melayang ke galaksi dari kegembiraan! 🎢 Konten yang menarik di sini adalah perjalanan rollercoaster yang mendebarkan bagi pikiran, memicu kagum setiap saat. 🌟 Baik itu gayahidup, blog ini adalah harta karun wawasan yang inspiratif! #KemungkinanTanpaBatas Terjun ke dalam pengalaman menegangkan ini dari penemuan dan biarkan imajinasi Anda berkelana! ✨ Jangan hanya mengeksplorasi, alami kegembiraan ini! #MelampauiBiasa Pikiran Anda akan bersyukur untuk perjalanan mendebarkan ini melalui ranah keajaiban yang menakjubkan! 🌍

  18. Перетянуть мягкую мебель в доме: Дать новый вид старой мебели: эффектные идеи перетягивать мебель своими руками: подробное руководство ткани для перетяжки мягкой мебели: секреты выбора
    перетяжка мягкой мебели.
    Преобразуйте свой дом с помощью перетяжки мягкой мебели

  19. I like the valuable info you provide in your articles. I will bookmark your weblog and
    check again here regularly. I am quite certain I will learn many new stuff right here!
    Good luck for the next!

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注