Pertanyaan yang diberi tag «scrapy»

Tutup. Pertanyaan ini tidak memenuhi pedoman Stack Overflow . Saat ini tidak menerima jawaban. Ingin meningkatkan pertanyaan ini? Perbarui pertanyaan sehingga sesuai topik untuk Stack Overflow. Ditutup 5 tahun yang lalu . Perbaiki pertanyaan ini Saya mencoba memasukkan daftar kemungkinan solusi untuk setelan pengujian otomatis peramban dan platform peramban tanpa …

368 selenium  web-scraping  scrapy  phantomjs  casperjs 

Saya ingin menginstal Lxml sehingga saya dapat menginstal Scrapy. Ketika saya memperbarui Mac saya hari ini, saya tidak dapat menginstal ulang lxml, saya mendapatkan kesalahan berikut: In file included from src/lxml/lxml.etree.c:314: /private/tmp/pip_build_root/lxml/src/lxml/includes/etree_defs.h:9:10: fatal error: 'libxml/xmlversion.h' file not found #include "libxml/xmlversion.h" ^ 1 error generated. error: command 'cc' failed with exit …

234 python  xcode  macos  scrapy  lxml 

Saya mencoba untuk menginstal kerangka Python Scrapy di OSX 10.11 (El Capitan) melalui pip. Skrip instalasi mengunduh modul yang diperlukan dan pada beberapa titik mengembalikan kesalahan berikut: OSError: [Errno 1] Operation not permitted: '/tmp/pip-nIfswi-uninstall/System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python/six-1.4.1-py2.7.egg-info' Saya sudah mencoba untuk menonaktifkan fitur tanpa root di OSX 10.11 dengan perintah: sudo nvram boot-args="rootless=0";sudo …

206 python  macos  python-2.7  scrapy 

Saya baru-baru ini belajar Python dan sedang mencelupkan tangan saya ke dalam membangun web-scraper. Tidak ada yang mewah sama sekali; satu-satunya tujuan adalah untuk mendapatkan data dari situs web taruhan dan meminta data ini dimasukkan ke dalam Excel. Sebagian besar masalah dapat dipecahkan dan saya mengalami sedikit kekacauan. Namun saya …

145 javascript  python  ajax  screen-scraping  scrapy 

Saya ingin membuat website yang menunjukkan perbandingan harga produk amazon dan e-bay. Manakah dari berikut ini yang akan bekerja lebih baik dan mengapa? Saya agak akrab dengan BeautifulSoup tetapi tidak begitu banyak dengan crawler Scrapy .

139 python  beautifulsoup  scrapy  web-crawler 

Saya mencoba untuk memberikan argumen yang ditentukan pengguna ke laba-laba scrapy. Adakah yang bisa menyarankan bagaimana melakukan itu? Saya membaca tentang suatu parameter di -asuatu tempat tetapi tidak tahu cara menggunakannya.

100 python  scrapy  web-crawler 

Saya sedang mengerjakan Scrapy 0.20 dengan Python 2.7. Saya menemukan PyCharm memiliki debugger Python yang bagus. Saya ingin menguji laba-laba Scrapy saya menggunakannya. Adakah yang tahu bagaimana melakukannya? Apa yang telah saya coba Sebenarnya saya mencoba menjalankan laba-laba sebagai skrip. Hasilnya, saya membuat skrip itu. Kemudian, saya mencoba menambahkan proyek …

97 python  debugging  python-2.7  scrapy  pycharm