ココナラで「自動化」に関するトレンドをスクレイピング！

2022年自動化のトレンドはなんだろう？とふと思い、流行り（もう古いｗ？）のPythonスクレイピングを使いながら分析していくことにしました。

今回はココナラの”仕事・相談を探す”にて、どのような要求が多いのかなどをPythonでスクレイピング取得し、テキストマイニングにてワードマップでも作ってみようと思います。

この記事のオススメ

自動化に興味がある方
自動化のトレンドを知りたい方
スクレイピングに興味がある方
Pythonのスクレイピンをやってみたい方

まずは分析結果から！
分析手法
1. ココナラのスクレイピンをしてみる
2. AIテキストマイニングをしてみる
まとめ

まずは分析結果から！

スクレイピン方法は関係ない！という方のために、分析結果をはじめに記載します。

次の結果は2022年5月7日のココナラの”仕事・相談を探す”にて、全4339件の自動化関連の項目を抽出し、『User LocalのAIテキストマイニング』を用いてワードマップ化したものです。この結果ではRPAやPython、Googleスプレッドシートなどが名詞としてエンドユーザーでの要求に多いことが分かりました。エクセルも未だに健在ですね・・・。

単語頻出頻度も以下に示しておきます。

これらの結果から、個人レベルの要求ではあるものの、Pythonを使った自動化や、自動化結果をエクセルやGoogleスプレッドシートに出力など、しばらくは現在の業務を自動化させるといった従来のトレンドが続くのではないかと思います。

機械学習などで情報を分類させるなど、いわゆるAI的な自動化は、まだ先進的な企業でのみ取り入れていく感じになりますかね。

分析手法

ココナラのスクレイピンをしてみる

まずはココナラのサイトの仕事・相談を探すから『自動化』をキーワードとして全結果を取得します。今回はトレンド結果にもあったPythonでスクレイピングを行いました。取得した際に使った全コードを載せておきます（特にモジュール化などはしていませんので、ご自由に改変してください）。一応カテゴリや予算なども同時に取得してcsvファイルに出力しています。

!pip install webdriver_manager

from selenium import webdriver
from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.chrome.options import Options

#### 設定 #########################
keyword = "自動化"
pagemax = 109
###################################

def coconaraScraping(word, values):
    for page in range(pagemax):
        # COCONARAにアクセス
        url = 'https://coconala.com/requests?keyword='+word+'&page=' + str(page+1)
        browser.get(url)

        items = browser.find_elements_by_class_name('c-searchItem')
        for item in items:
            categoty = item.find_element_by_class_name('c-itemInfo_category').text
            title = item.find_element_by_class_name('c-itemInfo_title').text
            budget = item.find_element_by_class_name('c-itemTileContent').text
            values.append( [categoty, title, budget] )
        print(str(page+1) + "ページ目読み込み完了！")


# ブラウザーを起動
print("************* Launch browser! *************")
options = Options()
options.add_argument('--headless')
browser = webdriver.Chrome(executable_path=ChromeDriverManager().install(), options=options)

# データ取得
keys = ["カテゴリ", "サマリー", "予算"]
values = []
coconaraScraping(keyword, values)

import pandas as pd
df = pd.DataFrame(data=values,columns=keys)

# ブラウザーを終了
browser.quit()

# csv出力
print("************* Write csv file! *************")
df.to_csv('result.csv', index=None, encoding="utf_8_sig")

print("************* all completed!!! *************")

出力結果のcsvファイルも添付しておきます。上記のコードでこのような出力結果を得ることが出来ます。

result.csv ダウンロード