diff --git a/spiders/__pycache__/fdb_spider.cpython-39.pyc b/spiders/__pycache__/fdb_spider.cpython-39.pyc index 396f12f..afeace6 100644 Binary files a/spiders/__pycache__/fdb_spider.cpython-39.pyc and b/spiders/__pycache__/fdb_spider.cpython-39.pyc differ diff --git a/spiders/fdb_spider.py b/spiders/fdb_spider.py index ec648d3..149477d 100644 --- a/spiders/fdb_spider.py +++ b/spiders/fdb_spider.py @@ -510,6 +510,7 @@ class fdb_spider(object): driver.get(fdb_conf_entry_list_link1 + str(i) + fdb_conf_entry_list_link2) for entry_id in dictionary_entry_list: + print(entry_id) entry_link = dictionary_entry_list[entry_id]["link"] web_content = 'NONE' # download the html page of the entry @@ -556,14 +557,14 @@ class fdb_spider(object): if 'javascript' not in entry_link and '.pdf' not in entry_link: - + print('blabuuuuuba') #print('oi') try: # defining cookie to not end up in endless loop because of cookie banners pointing to redirects url = entry_link req = urllib.request.Request(url, headers={'User-Agent': 'Mozilla/5.0', 'Cookie':'myCookie=oioioioi'}) response = urllib.request.urlopen(req) - #print('response from first one', response) + print('response from first one', response) except Exception as e: print('cookie giving then downloading did not work, original error is:', e) try: @@ -604,7 +605,7 @@ class fdb_spider(object): file_name = "spiders/pages/" + fdb + str(i) + "/" + str(entry_id) + ".html" - + wget_wrote = False if web_content == 'NONE': print('other downloading approaches did not work, trying requests') @@ -623,14 +624,16 @@ class fdb_spider(object): try: os.makedirs(os.path.dirname(file_name), exist_ok=True) oi = subprocess.run(["wget", entry_link, '--output-document=' + file_name]) - + wget_wrote = True except subprocess.CalledProcessError: print('wget downloading did not work.. saving NONE to file now') - os.makedirs(os.path.dirname(file_name), exist_ok=True) - f = open(file_name, "w+") - f.write(web_content) - f.close + + if wget_wrote == False: + os.makedirs(os.path.dirname(file_name), exist_ok=True) + f = open(file_name, "w+") + f.write(web_content) + f.close # save the entry_domain, implemented first for further downloads in javascript links f = open("spiders/output/" + fdb + str(i) + "entryList.txt", "w+") diff --git a/spiders/pages/foerderinfo.bund.de1entryList.html b/spiders/pages/foerderinfo.bund.de1entryList.html deleted file mode 100644 index d9b6441..0000000 --- a/spiders/pages/foerderinfo.bund.de1entryList.html +++ /dev/null @@ -1,2351 +0,0 @@ - - - - - - Suche - Förderberatung „Forschung und Innovation“ des Bundes - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
- -
-
-

Navigation und Service

- - -
-
-
-
-
- -

- Online-Umfrage zum Beratungsangebot
- Sie sind durch die Förderberatung „Forschung und Innovation” des Bundes zu Ihrem Anliegen beraten worden? - Dann interessiert uns Ihre Meinung zum Beratungsservice! Nehmen Sie sich bitte etwa fünf Minuten Zeit und - geben Sie uns Ihr Feedback!
- - Jetzt an der Online-Umfrage teilnehmen - - -

-
-
-
-
-
- -
-
-
-

- - - - Logo von Förderberatung „Forschung und Innovation“ des Bundes (Link zur Startseite) - - -

- -
-
-
-
-
-
- -
-
-
-
-
-
-
-
-
-

- Suchergebnisse -

-
- -
- -
-
-

Standardmäßig werden Ergebnisse mit allen eingegebenen Suchbegriffen angezeigt. Durch das Wort OR zwischen den Suchbegriffen erweitern Sie die Suche um Treffer, die nur einen Teil der Suchbegriffe enthalten. Weiter sind Wildcards wie * für eine beliebige Buchstabenfolge und ? für einen einzelnen Buchstaben bei der Suche zulässig. Das Tilde-Symbol ~ an Ende eines einzelnen Wortes erlaubt die Durchführung einer unscharfen Suche.

-
-
- - - -
-
-
- -
- -
-
- -
- - - -
-
-
- - - -

- Anzahl der Einträge für „“: 107 -

-
- - - - - - - - - - - - - - - - -
-
-

- Anzahl der Einträge: 107 -

-
-
- - -
-
-
- -
- - -
-
-
- -
- -
- - -
- - - - - \ No newline at end of file diff --git a/spiders/pages/foerderinfo.bund.de2entryList.html b/spiders/pages/foerderinfo.bund.de2entryList.html deleted file mode 100644 index 4bb49ff..0000000 --- a/spiders/pages/foerderinfo.bund.de2entryList.html +++ /dev/null @@ -1,2271 +0,0 @@ - - - - - - Suche - Förderberatung „Forschung und Innovation“ des Bundes - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
- -
-
-

Navigation und Service

- - -
-
-
-
-
- -

- Online-Umfrage zum Beratungsangebot
- Sie sind durch die Förderberatung „Forschung und Innovation” des Bundes zu Ihrem Anliegen beraten worden? - Dann interessiert uns Ihre Meinung zum Beratungsservice! Nehmen Sie sich bitte etwa fünf Minuten Zeit und - geben Sie uns Ihr Feedback!
- - Jetzt an der Online-Umfrage teilnehmen - - -

-
-
-
-
-
- -
-
-
-

- - - - Logo von Förderberatung „Forschung und Innovation“ des Bundes (Link zur Startseite) - - -

- -
-
-
-
-
-
- -
-
-
-
-
-
-
-
-
-

- Suchergebnisse -

-
- -
- -
-
-

Standardmäßig werden Ergebnisse mit allen eingegebenen Suchbegriffen angezeigt. Durch das Wort OR zwischen den Suchbegriffen erweitern Sie die Suche um Treffer, die nur einen Teil der Suchbegriffe enthalten. Weiter sind Wildcards wie * für eine beliebige Buchstabenfolge und ? für einen einzelnen Buchstaben bei der Suche zulässig. Das Tilde-Symbol ~ an Ende eines einzelnen Wortes erlaubt die Durchführung einer unscharfen Suche.

-
-
- - - -
-
-
- -
- -
-
- -
- - - -
-
-
- - - -

- Anzahl der Einträge für „“: 107 -

-
- - - - - - - - - - - - - - - - -
-
-

- Anzahl der Einträge: 107 -

-
-
- - -
-
-
- -
- - -
-
-
- -
- -
- - -
- - - - - \ No newline at end of file diff --git a/spiders/pages/foerderinfo.bund.de3entryList.html b/spiders/pages/foerderinfo.bund.de3entryList.html deleted file mode 100644 index 50648ff..0000000 --- a/spiders/pages/foerderinfo.bund.de3entryList.html +++ /dev/null @@ -1,2179 +0,0 @@ - - - - - - Suche - Förderberatung „Forschung und Innovation“ des Bundes - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
- -
-
-

Navigation und Service

- - -
-
-
-
-
- -

- Online-Umfrage zum Beratungsangebot
- Sie sind durch die Förderberatung „Forschung und Innovation” des Bundes zu Ihrem Anliegen beraten worden? - Dann interessiert uns Ihre Meinung zum Beratungsservice! Nehmen Sie sich bitte etwa fünf Minuten Zeit und - geben Sie uns Ihr Feedback!
- - Jetzt an der Online-Umfrage teilnehmen - - -

-
-
-
-
-
- -
-
-
-

- - - - Logo von Förderberatung „Forschung und Innovation“ des Bundes (Link zur Startseite) - - -

- -
-
-
-
-
-
- -
-
-
-
-
-
-
-
-
-

- Suchergebnisse -

-
- -
- -
-
-

Standardmäßig werden Ergebnisse mit allen eingegebenen Suchbegriffen angezeigt. Durch das Wort OR zwischen den Suchbegriffen erweitern Sie die Suche um Treffer, die nur einen Teil der Suchbegriffe enthalten. Weiter sind Wildcards wie * für eine beliebige Buchstabenfolge und ? für einen einzelnen Buchstaben bei der Suche zulässig. Das Tilde-Symbol ~ an Ende eines einzelnen Wortes erlaubt die Durchführung einer unscharfen Suche.

-
-
- - - -
-
-
- -
- -
-
- -
- - - -
-
-
- - - -

- Anzahl der Einträge für „“: 107 -

-
- - - - - - - - - - - - - - - - -
-
-

- Anzahl der Einträge: 107 -

-
-
- - -
-
-
- -
- - -
-
-
- -
- -
- - -
- - - - - \ No newline at end of file diff --git a/spiders/pages/foerderinfo.bund.de4entryList.html b/spiders/pages/foerderinfo.bund.de4entryList.html deleted file mode 100644 index f8a0d37..0000000 --- a/spiders/pages/foerderinfo.bund.de4entryList.html +++ /dev/null @@ -1,2186 +0,0 @@ - - - - - - Suche - Förderberatung „Forschung und Innovation“ des Bundes - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
- -
-
-

Navigation und Service

- - -
-
-
-
-
- -

- Online-Umfrage zum Beratungsangebot
- Sie sind durch die Förderberatung „Forschung und Innovation” des Bundes zu Ihrem Anliegen beraten worden? - Dann interessiert uns Ihre Meinung zum Beratungsservice! Nehmen Sie sich bitte etwa fünf Minuten Zeit und - geben Sie uns Ihr Feedback!
- - Jetzt an der Online-Umfrage teilnehmen - - -

-
-
-
-
-
- -
-
-
-

- - - - Logo von Förderberatung „Forschung und Innovation“ des Bundes (Link zur Startseite) - - -

- -
-
-
-
-
-
- -
-
-
-
-
-
-
-
-
-

- Suchergebnisse -

-
- -
- -
-
-

Standardmäßig werden Ergebnisse mit allen eingegebenen Suchbegriffen angezeigt. Durch das Wort OR zwischen den Suchbegriffen erweitern Sie die Suche um Treffer, die nur einen Teil der Suchbegriffe enthalten. Weiter sind Wildcards wie * für eine beliebige Buchstabenfolge und ? für einen einzelnen Buchstaben bei der Suche zulässig. Das Tilde-Symbol ~ an Ende eines einzelnen Wortes erlaubt die Durchführung einer unscharfen Suche.

-
-
- - - -
-
-
- -
- -
-
- -
- - - -
-
-
- - - -

- Anzahl der Einträge für „“: 107 -

-
- - - - - - - - - - - - - - - - -
-
-

- Anzahl der Einträge: 107 -

-
-
- - -
-
-
- -
- - -
-
-
- -
- -
- - -
- - - - - \ No newline at end of file diff --git a/spiders/pages/foerderinfo.bund.de5entryList.html b/spiders/pages/foerderinfo.bund.de5entryList.html deleted file mode 100644 index b55a0a9..0000000 --- a/spiders/pages/foerderinfo.bund.de5entryList.html +++ /dev/null @@ -1,2185 +0,0 @@ - - - - - - Suche - Förderberatung „Forschung und Innovation“ des Bundes - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
- -
-
-

Navigation und Service

- - -
-
-
-
-
- -

- Online-Umfrage zum Beratungsangebot
- Sie sind durch die Förderberatung „Forschung und Innovation” des Bundes zu Ihrem Anliegen beraten worden? - Dann interessiert uns Ihre Meinung zum Beratungsservice! Nehmen Sie sich bitte etwa fünf Minuten Zeit und - geben Sie uns Ihr Feedback!
- - Jetzt an der Online-Umfrage teilnehmen - - -

-
-
-
-
-
- -
-
-
-

- - - - Logo von Förderberatung „Forschung und Innovation“ des Bundes (Link zur Startseite) - - -

- -
-
-
-
-
-
- -
-
-
-
-
-
-
-
-
-

- Suchergebnisse -

-
- -
- -
-
-

Standardmäßig werden Ergebnisse mit allen eingegebenen Suchbegriffen angezeigt. Durch das Wort OR zwischen den Suchbegriffen erweitern Sie die Suche um Treffer, die nur einen Teil der Suchbegriffe enthalten. Weiter sind Wildcards wie * für eine beliebige Buchstabenfolge und ? für einen einzelnen Buchstaben bei der Suche zulässig. Das Tilde-Symbol ~ an Ende eines einzelnen Wortes erlaubt die Durchführung einer unscharfen Suche.

-
-
- - - -
-
-
- -
- -
-
- -
- - - -
-
-
- - - -

- Anzahl der Einträge für „“: 107 -

-
- - - - - - - - - - - - - - - - -
-
-

- Anzahl der Einträge: 107 -

-
-
- - -
-
-
- -
- - -
-
-
- -
- -
- - -
- - - - - \ No newline at end of file diff --git a/spiders/pages/foerderinfo.bund.de6entryList.html b/spiders/pages/foerderinfo.bund.de6entryList.html deleted file mode 100644 index 4c07d4f..0000000 --- a/spiders/pages/foerderinfo.bund.de6entryList.html +++ /dev/null @@ -1,2178 +0,0 @@ - - - - - - Suche - Förderberatung „Forschung und Innovation“ des Bundes - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
- -
-
-

Navigation und Service

- - -
-
-
-
-
- -

- Online-Umfrage zum Beratungsangebot
- Sie sind durch die Förderberatung „Forschung und Innovation” des Bundes zu Ihrem Anliegen beraten worden? - Dann interessiert uns Ihre Meinung zum Beratungsservice! Nehmen Sie sich bitte etwa fünf Minuten Zeit und - geben Sie uns Ihr Feedback!
- - Jetzt an der Online-Umfrage teilnehmen - - -

-
-
-
-
-
- -
-
-
-

- - - - Logo von Förderberatung „Forschung und Innovation“ des Bundes (Link zur Startseite) - - -

- -
-
-
-
-
-
- -
-
-
-
-
-
-
-
-
-

- Suchergebnisse -

-
- -
- -
-
-

Standardmäßig werden Ergebnisse mit allen eingegebenen Suchbegriffen angezeigt. Durch das Wort OR zwischen den Suchbegriffen erweitern Sie die Suche um Treffer, die nur einen Teil der Suchbegriffe enthalten. Weiter sind Wildcards wie * für eine beliebige Buchstabenfolge und ? für einen einzelnen Buchstaben bei der Suche zulässig. Das Tilde-Symbol ~ an Ende eines einzelnen Wortes erlaubt die Durchführung einer unscharfen Suche.

-
-
- - - -
-
-
- -
- -
-
- -
- - - -
-
-
- - - -

- Anzahl der Einträge für „“: 107 -

-
- - - - - - - - - - - - - - - - -
-
-

- Anzahl der Einträge: 107 -

-
-
- - -
-
-
- -
- - -
-
-
- -
- -
- - -
- - - - - \ No newline at end of file diff --git a/spiders/pages/foerderinfo.bund.de7entryList.html b/spiders/pages/foerderinfo.bund.de7entryList.html deleted file mode 100644 index d9e95f6..0000000 --- a/spiders/pages/foerderinfo.bund.de7entryList.html +++ /dev/null @@ -1,2173 +0,0 @@ - - - - - - Suche - Förderberatung „Forschung und Innovation“ des Bundes - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
- -
-
-

Navigation und Service

- - -
-
-
-
-
- -

- Online-Umfrage zum Beratungsangebot
- Sie sind durch die Förderberatung „Forschung und Innovation” des Bundes zu Ihrem Anliegen beraten worden? - Dann interessiert uns Ihre Meinung zum Beratungsservice! Nehmen Sie sich bitte etwa fünf Minuten Zeit und - geben Sie uns Ihr Feedback!
- - Jetzt an der Online-Umfrage teilnehmen - - -

-
-
-
-
-
- -
-
-
-

- - - - Logo von Förderberatung „Forschung und Innovation“ des Bundes (Link zur Startseite) - - -

- -
-
-
-
-
-
- -
-
-
-
-
-
-
-
-
-

- Suchergebnisse -

-
- -
- -
-
-

Standardmäßig werden Ergebnisse mit allen eingegebenen Suchbegriffen angezeigt. Durch das Wort OR zwischen den Suchbegriffen erweitern Sie die Suche um Treffer, die nur einen Teil der Suchbegriffe enthalten. Weiter sind Wildcards wie * für eine beliebige Buchstabenfolge und ? für einen einzelnen Buchstaben bei der Suche zulässig. Das Tilde-Symbol ~ an Ende eines einzelnen Wortes erlaubt die Durchführung einer unscharfen Suche.

-
-
- - - -
-
-
- -
- -
-
- -
- - - -
-
-
- - - -

- Anzahl der Einträge für „“: 107 -

-
- - - - - - - - - - - - - - - - -
-
-

- Anzahl der Einträge: 107 -

-
-
- - -
-
-
- -
- - -
-
-
- -
- -
- - -
- - - - - \ No newline at end of file diff --git a/spiders/pages/foerderinfo.bund.de8entryList.html b/spiders/pages/foerderinfo.bund.de8entryList.html deleted file mode 100644 index 20d37c3..0000000 --- a/spiders/pages/foerderinfo.bund.de8entryList.html +++ /dev/null @@ -1,1908 +0,0 @@ - - - - - - Suche - Förderberatung „Forschung und Innovation“ des Bundes - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
- -
-
-

Navigation und Service

- - -
-
-
-
-
- -

- Online-Umfrage zum Beratungsangebot
- Sie sind durch die Förderberatung „Forschung und Innovation” des Bundes zu Ihrem Anliegen beraten worden? - Dann interessiert uns Ihre Meinung zum Beratungsservice! Nehmen Sie sich bitte etwa fünf Minuten Zeit und - geben Sie uns Ihr Feedback!
- - Jetzt an der Online-Umfrage teilnehmen - - -

-
-
-
-
-
- -
-
-
-

- - - - Logo von Förderberatung „Forschung und Innovation“ des Bundes (Link zur Startseite) - - -

- -
-
-
-
-
-
- -
-
-
-
-
-
-
-
-
-

- Suchergebnisse -

-
- -
- -
-
-

Standardmäßig werden Ergebnisse mit allen eingegebenen Suchbegriffen angezeigt. Durch das Wort OR zwischen den Suchbegriffen erweitern Sie die Suche um Treffer, die nur einen Teil der Suchbegriffe enthalten. Weiter sind Wildcards wie * für eine beliebige Buchstabenfolge und ? für einen einzelnen Buchstaben bei der Suche zulässig. Das Tilde-Symbol ~ an Ende eines einzelnen Wortes erlaubt die Durchführung einer unscharfen Suche.

-
-
- - - -
-
-
- -
- -
-
- -
- - - -
-
-
- - - -

- Anzahl der Einträge für „“: 107 -

-
- - - -
-
-

- Anzahl der Einträge: 107 -

-
-
- - -
-
-
- -
- - -
-
-
- -
- -
- - -
- - - - - \ No newline at end of file