チャットGPTに簡単な自動的にWebページの内容を取得してもらうコードを書いてもらいました。
ChatGPTへの指定文 :
Pythonで、指定したURLをクローリングしてページ内のテキストを取得するプログラムを書いてください。
結果 :
import requests from bs4 import BeautifulSoup
# クローリングするURL
url = "https://example.com"
# リクエストを送信してHTMLを取得する
response = requests.get(url)
html = response.text
# BeautifulSoupを使用してHTMLを解析する
soup = BeautifulSoup(html, "html.parser")
# ページ内のテキストを取得する
text = soup.get_text()
# テキストを出力する
print(text)
実行結果 :
