<tt id="1uzb4"></tt>
  • <track id="1uzb4"><menu id="1uzb4"><big id="1uzb4"></big></menu></track>

    <rt id="1uzb4"></rt>
    
    
  • <b id="1uzb4"><address id="1uzb4"><label id="1uzb4"></label></address></b>

      <wbr id="1uzb4"><menuitem id="1uzb4"><div id="1uzb4"></div></menuitem></wbr>
      <rp id="1uzb4"><menu id="1uzb4"><em id="1uzb4"></em></menu></rp>

        抓取受密碼保護的網站的私密頁面

        2019.07.19 mf_web

        162


        Crawling Private Pages of Password Protected Websites

        什么是受密碼保護的網站?為什么網站會受到密碼保護?為什么我要抓取受密碼保護的網站?這些是每個人在某些時候都會問自己的常見問題,特別是如果您從事網站設計,開發或SEO工作。讓我們一次看一個問題,然后再看幾個問題。

        什么是密碼保護?

        許多網站使用密碼保護作為安全過程,以保護不應向公眾提供的信息。此信息可以從任何計算機訪問,但密碼保護使其無法供一般公眾使用,并且在可訪問之前需要密碼(通常還具有授權的用戶名)。

        有些網站完全受密碼保護,而有些網站只是部分地這樣 - 意味著有員工或會員區。


        為何使用密碼保護?

        遇到受密碼保護的網站可能會讓人感到困惑,特別是如果原因不明確的話。如果您是網站所有者或經理,您可能會問同一個問題 - “我為什么要密碼保護我的網站?”

        畢竟,密碼保護可以防止普通訪問者查看您的網站,從而限制流量。建立網站的關鍵是獲得盡可能多的流量,盡可能多的可見性,對吧?

        實際上,作為網站管理員,您可能希望 - 甚至需要 - 密碼保護您的網站有三個主要原因。如果您作為用戶遇到一個,您可以確定這是網站受密碼保護的以下三個原因之一:

        • 發展。該網站可能仍處于開發和設計階段,因此尚未準備好供公眾查看?;蛘?,該網站的設計可能會發生一些重大變化。在進行開發或重建時,有必要允許員工訪問站點而不允許客戶執行相同操作。最好的方法是設置密碼保護。

        • 私人內容。這個原因通常導致網站的主要部分受密碼保護,而不是整個網站。這樣做的原因是鼓勵訪客注冊會員資格,無論是免費訂閱還是付費帳戶。通過密碼保護一些最好的內容,信息站點(和許多博客)吸引訪問者成為活躍的成員。一個很好的例子是銀行的網站:公眾可以使用的區域,例如銀行提供的不同賬戶類型,分支機構和其他金融服務。但是,為了訪問您的在線銀行帳戶,您需要登錄,因為它受密碼保護。

        • 安全。這有點是會員資格原因的延伸。通過設置密碼保護,網站所有者和管理員可以限制對某些管理功能和/或文件的訪問。一個很好的例子是“僅限員工”部分或互聯網,其中重要信息可以很容易地與大公司的員工共享。這比電子郵件更有效,電子郵件可能會丟失在垃圾郵件文件夾中或意外刪除,因為它構成了永久的在線資源庫。當新員工加入公司時,他們可以使用用戶名和密碼立即訪問所有必要信息。受密碼保護的interweb系統還允許員工訪問站點的管理后端,例如,他們可以在Web服務站點上管理客戶帳戶。


        為什么要抓取受密碼保護的網站?

        抓取受密碼保護的網站可能聽起來是非法的 - 畢竟,它的密碼受到保護是有原因的 - 但是有許多完全合法的理由想要抓取您的受保護網站。除此之外,為了抓取受密碼保護的網站,您將需要訪問管理后端,因此您只能訪問您已作為管理員訪問過的信息。

        讓我們來看看為什么你想要在密碼保護下抓取你的網站。

        • 開發內容庫存。當網站仍在開發和/或重新設計時,這一點尤其重要,因為您希望獲得網站上所有內容的列表。造成這種情況的原因可能很容易占用另一篇文章,但最常見的一種方法是確保所有需要的文章都已上傳。

        • 執行內容審核。獲得內容廣告資源后,您需要查看該內容并列出需要修復的任何問題。這些可能包括仍需要上傳的內容丟失,需要更換的部分或損壞的文件,甚至未正確標記的內容,以允許網站抓取工具和搜索引擎正確閱讀。

        • 創建可視化站點地圖。站點地圖由網站抓取工具和人類用戶共同使用,可幫助您輕松瀏覽網站。通過在啟動之前爬過受密碼保護的站點,您可以提前繪制可視化站點地圖,并立即查看需要更好地組織信息的位置。這也有助于您進行重大的重新設計,因為您可以提前規劃項目,與之前的設計進行比較,并在啟動之前實時實施必要的更改。

        • SEO。想要抓取任何網站的搜索引擎優化相關的原因非常廣泛,足以保證專門討論該主題的文章,并且所有這些都適用于抓取受密碼保護的網站。簡而言之,在密碼保護下抓取您的網站可以讓您查看搜索引擎看到的內容。由于您將非常依賴它們來幫助吸引網站流量,因此您需要確保您的網站不僅針對人類用戶進行了優化,還針對搜索引擎進行了優化。在某種程度上,這包括您的可用性體驗,站點地圖的有效性以及元標記,允許搜索引擎徹底抓取您的網站內容,以包含在他們的搜索引擎索引中(他們用來快速生成搜索查詢結果)。

        • 無障礙。我們已經介紹了為搜索引擎網站抓取工具和普通用戶優化網站的可訪問性,但您網站的可訪問性分數的另一個重要方面是您當然不希望忽略的。無論您的網站在發布后是否可供公眾使用,或者某個部分仍然受密碼保護,您都希望確保殘障人士可以輕松訪問這些網頁。對于將繼續受密碼保護的私人網站頁面尤其如此。


        抓取受密碼保護的網站的最佳做法

        在我們深入了解如何抓取受密碼保護的網站的細節之前,您需要牢記并遵守一些做法。

        • 在抓取時使用只讀帳戶。當您瀏覽受保護的網站時,您將接受需要更改的內容。你甚至可能想要自己修復它們,但是你必須首先記住你抓取網站的原因。其中之一是為開發人員制作一個列表進行整理。畢竟,他們是專業人士,你雇用他們來處理這些問題。如果你缺乏專業知識,你最終可能會弊大于利。通過在抓取您的網站時使用完整的管理用戶名和密碼,您還可以讓抓取工具完全訪問整個管理部分。雖然最好的抓取工具不會執行任何操作,但具有完全管理訪問權限,您可能會讓爬蟲程序更改網站的主題和插件,甚至刪除帖子。

        • 始終排除您的管理頁面。這是我們在上述內容中所說的:您為抓取網站而設置的只讀帳戶必須排除管理后端頁面和文件夾,以幫助您避免對您的網站進行不必要的更改。對于WordPress,您需要排除整個/ wp-admin / section; 對于Joomla,同樣適用于/ administrator / section。


        我還需要知道什么?

        了解CSS選擇器和HTML

        在構建自定義系統登錄時,您將需要CSS和HTML的一些基本知識,這些是使用的編程協議。我們將為您提供有關學習CSS和HTML的四個最佳網站的細分,以幫助您入門。

        從理論上講,您可以要求您的開發人員為您設置此項。但是您希望完全控制自定義系統登錄,因此出于安全考慮,您自己最好自己動手。但是,不要認為你必須自己參加大學或大學課程來學習如何!

        以下是四個最好的在線教程和課程,100%免費提供。

        • Udacity - HTML和CSS簡介。Udacity有一些免費提供的精彩在線課程,他們的HTML和CSS簡介肯定是最好的之一。

          本課程的標語是“不是你的典型介紹”,我們全心全意地同意。雖然大多數HTML和CSS教程都側重于語言語法,但Udacity認識到單獨的語法不會幫助您設計網頁 - 或者,在我們的示例中,設置自定義系統登錄。本課程的結構可以幫助您像前端開發人員一樣思考,向您展示從哪里開始以及如何處理任務。

          完成本課程后,您將獲得在所有頁面元素中實現HTML和CSS所需的全部知識 - 這意味著您無需每次都致電開發人員,都可以對您的網站進行細微更改。 。

        • 可汗學院 - HTML / CSS簡介:制作網頁??珊箤W院擁有廣泛的主題列表,這些主題被精心分解為各種模塊。您不必完成完整的計算機編程主題,就可以參加他們的HTML / CSS簡介:制作網頁課程。

          這是對HTML和CSS的另一種奇妙的,廣泛的探索,并教你如何使用它們來開發網頁。設置自定義系統登錄時,相同的原則將適用,并且理解HTML(標記語言)和CSS(樣式表語言)之間的區別可能會影響或破壞您有效執行此操作的能力。

        • Codecademy - 學習HTML和學習CSS。Codecademy完全專注于教學用戶不同的編碼語言和應用程序。學習HTML和學習CSS教程都是精彩的速成課程,旨在幫助新手快速有效地學習繩索。

          雖然其他人的預計持續時間為3周,但您可以通過這兩個輔導課程了解在短短12個小時內設置自定義系統登錄所需了解的一切。作為課程的一部分,您還將有機會建立一個時尚博客和葡萄酒節日程表(HTML),之后您可以處理CSS教程,在那里您將完成一些額外的項目。這些項目不是立即需要抓取受密碼保護的網站所必需的,但是當您正在尋找需要修復的任何錯誤或稍后進行細微更改而無需每個人都聘用開發人員時,擁有這些知識將是非常寶貴的。時間。

        • W3Schools - HTML5教程和 CSS教程。W3Schools是學習網站開發工具的熱門來源。他們正確地將自己推銷為全球最大的行業教程和參考站點。

          您將希望從他們廣泛的HTML5教程開始,您可以在一天內輕松完成并包含一些基本的CSS實現。有數百個示例可以幫助簡化學習過程,W3學校還提供了頁面上的HTML編輯器,可以讓您練習每節課并實時查看結果。

          要正確地補充您的CSS知識 - 無論您是打算進一步使用它還是只想設置自定義系統登錄 - 您還應該運行他們的CSS教程。再一次,提供了數百個示例,以幫助您快速學習,以及頁面編輯部分,您可以立即練習和查看您的編碼技能。


        了解如何使用瀏覽器檢查器工具

        在查找構建自定義系統登錄所需的代碼中的正確信息時,這些知識將非常有用。您將需要一個瀏覽器檢查工具來查找代碼中的必要信息,以幫助您構建自定義系統登錄。

        我們找到了六種最好的瀏覽器檢查工具,專為最常用的瀏覽器設計和開發。

        • Chrome DevTools。谷歌瀏覽器可能是最受歡迎的瀏覽器,它提供了一系列工具來幫助網站管理員充分利用他們的體驗。Chrome DevTools內置于Google Chrome中,可輕松訪問構成該組的創作,調試和分析工具。為此,只需導航到Chrome的主菜單,然后選擇“更多工具”>“開發人員工具”即可激活該軟件包。右鍵單擊任何頁面元素并選擇“Inspect”,您將收到完整的細分。

        • 螢火蟲。Firebug一直是Firefox用戶的最愛,它在數量方面與Chrome用戶密切相關。雖然Firebug擴展本身不再被進一步開發或維護,但它仍然是在線提供的最強大的Web開發工具集之一。Firebug目前仍然可以舒適有效地使用,但您肯定希望遵循Mozilla的建議,即遷移到我們列表中的下一個工具 - Firefox Developer Edition。

        • Firefox開發者版。將Firebug替換為使用Mozilla Firefox的開發人員和網站管理員的首選選項,Firefox Developer Edition附帶了大量工具。為了在開發自定義系統登錄時使用瀏覽器檢查工具的明確目的,您應該查看它的1號核心工具Page Inspector。

        • Safari Web Inspector。對于那些使用帶有默認瀏覽器引擎的Mac的用戶,Safari Web Inspector是您的解決方案。Apple已經超越自己創建了一個指揮中心,可以讓用戶快速輕松地訪問最豐富的開發工具集。Safari Web Inspector與macOS,iOS和tvOS完全兼容。

        • Microsoft Edge開發人員工具。沒有多少人仍然使用默認的Windows瀏覽器,但對于那些做過的人,有Microsoft Edge開發人員工具。最近更新了F12開發人員工具系列,以包含用戶請求的功能。對于使用Microsoft Edge的任何人來說,F12系列中包含的七種工具都是完善的,可以滿足您的需求。

        • 歌劇蜻蜓。最后但并非最不重要的是Opera Dragonfly開發人員的工具集。雖然大多數Android用戶都會熟悉Opera作為許多智能手機的默認瀏覽器,但該引擎在臺式機或筆記本電腦上使用時也非常熟練。認識到需要面向Opera的開發人員工具,該團隊已經發布了Dragonfly,這是一個內置于瀏覽器中的全功能套件。要使用Dragonfly功能,右鍵單擊任何元素并選擇“inspect” - 就這么簡單!


        構建自定義系統登錄

        如果您還沒有DYNO Mapper帳戶,請創建一個??筛鶕椖康捻摂堤峁┓謱佣▋r。登錄DYNO Mapper后,請按照以下說明操作。

        1. 在主菜單中從URL創建,然后單擊高級選項。

          從URL創建密碼保護

        2. 在高級選項中,在網站身份驗證下。單擊“添加/編輯自定義系統”按鈕。

          從受密碼保護的網站的URL創建

        3. 單擊添加系統

          密碼保護添加系統

        4. 標題您的自定義系統登錄。

          密碼保護表格

        5. 輸入登錄頁面URL - 這是可以找到登錄表單的頁面。它可以是相對或絕對URL。

        6. 輸入表單選擇器 - 這是登錄表單元素本身。表單標記(<form>)。

        7. 輸入表單提交URL - 這是表單提交的位置。通常是表單標記的action屬性的值。防爆。在<form action =“wp-login.php”>提交url是wp-login.php

        8. 輸入表單用戶名選擇器 - 這是登錄表單標記內的用戶名字段或輸入標記。

        9. 輸入表單密碼選擇器 - 這是密碼字段,或者通常是登錄表單標記內帶有type =“password”屬性的輸入標記。

        10. 輸入默認用戶名 - 登錄用戶名。如果您在網站驗證高級選項中將登錄用戶名留空,則使用此選項。

        11. 輸入默認密碼 - 登錄密碼。如果您在advvanced選項的網站身份驗證中將登錄密碼留空,則使用此選項。

        12. 輸入排除網址 - 絕對或要在抓取中排除的網址的一部分。用于排除注銷鏈接,以便爬蟲在找到注銷URL時不會注銷。用新行分隔多個條目。

        13. 輸入登錄成功標準 - 必須設置此選項以使爬蟲知道它是否成功登錄。通常只需要CSS選擇標準。其他標準需要有關http的知識。

        14. 輸入標準:

        • CSS選擇器匹配 - 如果選擇器在提交登錄表單后匹配。示例是僅在登錄時才能看到的元素; (#dashboard-wrapper,.login-success-alert)

        • CSS選擇器不匹配 - 如果選擇器在提交登錄表單后沒有匹配項。示例是登錄失敗時顯示的元素; (.login文件失敗的警報)

        • HTTP代碼匹配 - 成功登錄的HTTP狀態代碼。

        • HTTP代碼不匹配 - 與HTTP代碼匹配相反

        • 標頭名稱匹配 - 成功登錄后找到的HTTP標頭名稱。

        • 標題名稱不匹配 - 標題名稱匹配的對面。

        • 標頭名稱/值匹配 - 在成功登錄時找到的HTTP標頭名稱和值。

        • 標題名稱/值不匹配 - 標題名稱/值匹配的相反。

        關鍵詞

        最新案例

        聯系電話 400-6065-301

        留言

        欧洲亚洲国产香蕉网,亚洲AV永久无码精品澳门,欧美13—14周岁a完整版
        <tt id="1uzb4"></tt>
      1. <track id="1uzb4"><menu id="1uzb4"><big id="1uzb4"></big></menu></track>

        <rt id="1uzb4"></rt>
        
        
      2. <b id="1uzb4"><address id="1uzb4"><label id="1uzb4"></label></address></b>

          <wbr id="1uzb4"><menuitem id="1uzb4"><div id="1uzb4"></div></menuitem></wbr>
          <rp id="1uzb4"><menu id="1uzb4"><em id="1uzb4"></em></menu></rp>