个人中心
文章发布
退出
作者热门文章
- html - 出于某种原因，IE8 对我的 Sass 文件中继承的 html5 CSS 不友好？
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景？
24
4
如何将此列表的每次迭代添加到未知列数的 csv 文件中。
这是因为类型列表和每部电影的长度不一样。
如果影片仅小于最大值，那么我希望其他列为空。
我希望输出看起来有点像下面这样；
WebPage,Film,Genre1,Genre2,Genre3, ..... maxnumberofGenres
https://www.imdb.com/title/tt6644200/, A Quiet Place, Drama, Horror, Sci-Fi
如何解决这个问题？
import requests
from googlesearch import search
import csv
import pandas
from bs4 import BeautifulSoup
import numpy as np
import os
from datetime import datetime
import time
start_time = time.time()
colnames = ['title']
data = pandas.read_csv('D:/Desktop/webScrapeMovieInfo/mediaDataForGenreScrape2.csv', names=colnames, header=None)
my_list = data["title"]
my_list = list(my_list)
my_list = my_list[1:]
length = len(my_list)
for film in my_list:
query = film + " imdb"
for j in search(query, tld="co.in", num=10, stop=1, pause=2):
print(j)
page = requests.get(j)
response = page.status_code
if response == 200:
soup = BeautifulSoup(page.content, "lxml")
genreData = soup.find_all("div",{"class":"subtext"})
filmtitle = soup.find("h1")
filmtitle = filmtitle.contents[0]
print(filmtitle)
links = []
for h in genreData:
a = h.find_all('a')
aLength = len(a) - 1
a1 = a[0]
for b in range(0,aLength):
print(a[b].string)
np.savetxt("filmWebPages.csv", j, delimiter=",", fmt='%s', header="imdbPageOfFilms")
print("--- %s seconds ---" % (time.time() - start_time))
最佳答案
要提取所有流派，您可以使用此脚本 - 它会将其保存到 CSV 并打印到屏幕上:
import csv
import requests
from bs4 import BeautifulSoup
url = 'https://www.imdb.com/search/title/?pf_rd_i=moviemeter&genres=action&explore=title_type,genres'
soup = BeautifulSoup(requests.get(url).text, 'lxml')
rows = []
for h3, genres in zip(soup.select('.lister-item-header'), soup.select('.lister-item-header ~ p .genre')):
title = h3.select_one('a').text
url = h3.select_one('a')['href']
genres = [*map(str.strip, genres.text.split(', '))]
rows.append([title, url, genres])
#find all the genres we have:
all_genres = sorted(list(set(sum((row[2] for row in rows), []))))
#transform all rows to include True/False if they belong to certain genre
for row in rows:
row[2] = [g in row[2] for g in all_genres]
#print header
print('{: <40}{: ^20}'.format('Name', 'URL') + ''.join('{: ^10}'.format(g) for g in all_genres))
#print all rows
for title, url, genres in rows:
print('{: <40}{: <20}'.format(title, url), end='')
print(''.join('{: ^10}'.format('X' if g else '-') for g in genres))
#save to csv
with open('data.csv', 'w', newline='') as csvfile:
csvwriter = csv.writer(csvfile, delimiter=',',
quotechar='"', quoting=csv.QUOTE_MINIMAL)
csvwriter.writerow(['Name', 'URL'] + all_genres)
for title, url, genres in rows:
csvwriter.writerow([title, url, *['✔' if g else '' for g in genres]])
打印:
Name URL Action Adventure Animation Comedy Crime Drama Fantasy Mystery Sci-Fi Thriller
Spider-Man: Far from Home /title/tt6320628/ X X - - - - - - X -
Top Gun: Maverick /title/tt1745960/ X - - - - X - - - -
The King's Man /title/tt6856242/ X X - X - - - - - -
La Casa de Papel /title/tt6468322/ X - - - X - - X - -
Troonide mäng /title/tt0944947/ X X - - - X - - - -
Crawl /title/tt8364368/ X X - - - X - - - -
Alita: Sõjaingel /title/tt0437086/ X X - - - - - - X -
Tasujad: Lõppmäng /title/tt4154796/ X X - - - - - - X -
Terminaator: Tume Saatus /title/tt6450804/ X X - - - - - - X -
The Witcher /title/tt5180504/ X X - - - X - - - -
Hellboy /title/tt2274648/ X X - - - - X - - -
Point Blank /title/tt2499472/ X - - - - - - - - X
Shazam! /title/tt0448115/ X X - X - - - - - -
Stuber /title/tt7734218/ X - - X X - - - - -
Fast & Furious Presents: Hobbs & Shaw /title/tt6806448/ X X - - - - - - - -
Tippkutt /title/tt0092099/ X - - - - X - - - -
John Wick 3: Parabellum /title/tt6146586/ X - - - X - - - - X
Ämblikmees: Uus universum /title/tt4633694/ X X X - - - - - - -
S.H.I.E.L.D.i agendid /title/tt2364582/ X X - - - X - - - -
The Boys /title/tt1190634/ X - - X X - - - - -
Designated Survivor /title/tt5296406/ X - - - - X - X - -
Kapten Marvel /title/tt4154664/ X X - - - - - - X -
Viikingid /title/tt2306299/ X X - - - X - - - -
Mulan /title/tt4566758/ X X - - - X - - - -
Bond 25 /title/tt2382320/ X X - - - - - - - X
Spider-Man: Homecoming /title/tt2250912/ X X - - - - - - X -
Murder Mystery /title/tt1618434/ X - - X X - - - - -
Pandora /title/tt10207090/ X - - - - X - - X -
Shaft /title/tt4463894/ X - - X X - - - - -
Jessica Jones /title/tt2357547/ X - - - X X - - - -
Star Wars: The Rise of Skywalker /title/tt2527338/ X X - - - - X - - -
Leegion /title/tt5114356/ X - - - - X - - X -
Anna /title/tt7456310/ X - - - - - - - - X
Vibukütt /title/tt2193021/ X X - - X - - - - -
NCIS: Kriminalistid /title/tt0364845/ X - - - X X - - - -
Välk /title/tt3107288/ X X - - - X - - - -
Wonder Woman 1984 /title/tt7126948/ X X - - - - X - - -
Titans /title/tt1043813/ X X - - - X - - - -
Ghostbusters 2020 /title/tt4513678/ X - - X X - - - - -
Power Rangers /title/tt3717490/ X X - - - - - - X -
Charlie's Angels /title/tt5033998/ X X - X - - - - - -
Mehed mustas: globaalne oht /title/tt2283336/ X X - X - - - - - -
Swamp Thing /title/tt8362852/ X X - - - X - - - -
Queen of the South /title/tt1064899/ X - - - X X - - - -
Tasujad: Igaviku sõda /title/tt4154756/ X X - - - - - - X -
Gotham /title/tt3749900/ X - - - X X - - - -
Godzilla: King of the Monsters /title/tt3741700/ X X - - - - X - - -
Shingeki no kyojin /title/tt2560140/ X X X - - - - - - -
Escape Plan: The Extractors /title/tt6772804/ X - - - X - - - - X
Thor: Ragnarök /title/tt3501632/ X X - X - - - - - -
并保存data.csv。以下是 LibreOffice 的屏幕截图:
关于python - 如何将多个列表导出到一个 csv？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/57228323/
24
4
0
如标题所示，ans_list是一个答案列表，ans_index是一个数字(答案在词汇表中的索引，但与atm无关) 这里生成的 tree.anslist 是什么？ (例如，仅针对第一个)，忽略迭代。 f
我目前将用户的输入存储在逗号分隔的列表中，如下所示: Userid | Options 1 | 1,2,5 用户在一个数组形式中勾选一组选项，然后用逗号连接起来 1,2,5 然后 MySQ
我目前将用户的输入存储在逗号分隔的列表中，如下所示: Userid | Options 1 | 1,2,5 用户在一个数组形式中勾选一组选项，然后用逗号连接起来 1,2,5 然后 MySQ
我想知道如何完全展平列表和包含它们的东西。除其他外，我想出了一个解决方案，它可以将具有多个元素的东西滑倒并将它们放回原处，或者在滑倒后将具有一个元素的东西拿走。 这与 How do I “flatte
我想知道如何完全展平列表和包含它们的东西。除其他外，我想出了一个解决方案，它可以将具有多个元素的东西滑倒并将它们放回原处，或者在滑倒后将带有一个元素的东西拿走。 这与 How do I “flatte
这个问题已经有答案了: Convert nested list to 2d array (3 个回答) 已关闭 7 年前。 java中有没有快捷方式可以转换 List> 到 String[][] ？
我在排序时遇到问题 List> 。我创建了一个自定义比较器，在其中编写了对数据进行排序的代码。 public class CustomComparator implements Comparator
这个问题已经有答案了: 已关闭10 年前。 Possible Duplicate: Java Generics: Cannot cast List to List? 我只是想知道为什么下面的java代
试图想出一个 LINQy 方法来做到这一点，但我什么也没想到。 我有一个对象列表<>，其中包含一个属性，该属性是逗号分隔的字母代码列表: lst[0].codes = "AA,BB,DD" lst[1
假设我有这些任务: points = [] point = (1, 2) 我怎么会这样做: points += point 它工作得很好，并且给了我点 = [1, 2]。但是，如果我这样做: poin
如何在 scala 中将 List[Task[List[Header]]] 类型转换为 Task[List[Header]]。 我有一个方法返回 Task[List[Header]] 并多次调用 do
如何在 Java 中查找二维列表的元素？ 我有一个参数为 List> 的函数我想知道如何找到这个列表的行和列。 最佳答案 如果你喜欢 List> obj 然后你就可以像这样访问 obj.get(cur
分配 List到 List工作正常。 分配 List>到 List>不编译。 代码 public class Main { public static void main(String[] a
我正在用 Java 编写一个方法，该方法必须接收并迭代 Serializable 的 List。 有什么区别: public void myMethod(List list) { } 和 public
我看到很多人想用 mvvm 更新网格/列表/树的一部分，但他们不想刷新整个列表。 对于所有遇到此问题的人，我做了以下示例。 希望这对你有用。 最佳答案 这是一个简单的例子。整个代码中最重要的是: Bi
我正在为现有的 C++ 库编写包装器，该库使用列表，其中 T 是自定义结构。我被建议使用 vector 而不是列表，但我试图避免修改库。 为了更好地理解这个场景，我做了一个简单的应用程序，使用一个列表
List list List list 这两种声明有什么区别吗？ 谢谢， 最佳答案 是的。 List可以包含所有派生自 Base 的不同事物的混合物. List包含同质项(从某种意义上说，它们必须全部
有人可以尽可能详细地解释以下类型之间的区别吗？ List List List 让我更具体一点。我什么时候想使用 // 1 public void CanYouGiveMeAnAnswer(List l
我有一个元组列表，每个元组都是一对列表。所以我的数据看起来像: mylist = [(['foo', 'bar'], ['bar', 'bar']),(['bar', 'bar'],['bar', '
也许是一个时髦的标题，但我遇到了以下问题: 给定一个类型为 (a * b) list 的列表，我想创建一个类型为 (a * b list) list 的新列表。一个例子: 给定列表 let testL
我是一名优秀的程序员,十分优秀！