資料をOCRで読んでデータ化、自動でWikiへ構築（模索中）

JupyterでVSCodeを触らせてもらってます。いい感じにデータの抽出ができてました。

芸がないので動画でとってみました↓

しっかり実行結果が文節で分かれています。NLPライブラリも使いました。

こちらをGithubでUPしてみたかったのですが、PHPはだめらしい・・・ということでAWS編に行ってみました。それでも設定が難しすぎる。頼みの綱の先生も連絡取れず。

import pandas as pd
import spacy
import requests
import json

# Excelファイルのパス
file_path = r"C:\Users\sae202311\Desktop\卒業制作\PTAOGOB\wiki_data.xlsx"

# Excelファイルを読み込む
df = pd.read_excel(file_path)

# E列のデータを取得
e_column_data = df.iloc[:, 4]  # 0-indexedで4はE列

# 日本語モデルの読み込み
nlp = spacy.load("ja_core_news_sm")

def analyze_text(text):
    doc = nlp(text)
    
    # 名詞の抽出
    nouns = [token.text for token in doc if token.pos_ == "NOUN"]
    # 動詞の抽出
    verbs = [token.text for token in doc if token.pos_ == "VERB"]
    # 固有表現の抽出
    entities = [(ent.text, ent.label_) for ent in doc.ents]
    
    return {
        "nouns": nouns,
        "verbs": verbs,
        "entities": entities
    }

# GitHub APIの設定
GITHUB_TOKEN = 'YOUR_PERSONAL_ACCESS_TOKEN'  # ここにトークンを入力
REPO_OWNER = 'YOUR_GITHUB_USERNAME'  # GitHubのユーザー名
REPO_NAME = 'YOUR_REPOSITORY_NAME'  # リポジトリ名
WIKI_PAGE_NAME = '分析結果'  # Wikiページ名

# E列の各データを分析し、結果をMarkdown形式で整形
markdown_content = "# 文章分析結果\n\n"

for text in e_column_data:
    result = analyze_text(text)
    markdown_content += "## 分析対象文\n"
    markdown_content += f"{text}\n\n"
    markdown_content += "### 名詞\n"
    markdown_content += ", ".join(result['nouns']) + "\n\n"
    markdown_content += "### 動詞\n"
    markdown_content += ", ".join(result['verbs']) + "\n\n"
    markdown_content += "### 固有表現\n"
    markdown_content += ", ".join([f"{ent[0]} ({ent[1]})" for ent in result['entities']]) + "\n\n"

# GitHub Wikiにアップロード
url = f"https://api.github.com/repos/{REPO_OWNER}/{REPO_NAME}/wiki/pages/{WIKI_PAGE_NAME}"
headers = {
    'Authorization': f'token {GITHUB_TOKEN}',
    'Content-Type': 'application/json'
}
data = {
    'content': markdown_content,
    'message': 'Update analysis results'
}

response = requests.put(url, headers=headers, data=json.dumps(data))

if response.status_code == 200:
    print("Wikiページが更新されました。")
else:
    print(f"エラーが発生しました: {response.status_code} - {response.text}")

で、こちらを参考にトークンを発行しました。ありがとうございます(/_;)

https://dev.classmethod.jp/articles/github-personal-access-tokens

このあたりの設定も参考リンクからだいぶ遷移しているんだけど、それを教えてくれる人はなし・・・

で、結局自分のスターサーバでできるらしいということを知って

できるやないか！泣いた

きっかけはこちらの記事

また、こちらのGithubの一節が見たくて課金もしましたちゃりーん
GitHub Pages PHPあげられるからと言っても要注意だね。

https://dotinstall.com/questions/pv8425w

すっかり涼しくなってきて勉強が面白い時期です。

AWS運用の特権！無料のSSL証明書を取得してからアクセスできなくなったDDNSサービス。。。。泡
もうできる範囲からやるしかないよねという風

テラタームも新規のIPアドレスを入力してもユーザーネームすら認識しません・・・

AWSの参考Link https://aws.taf-jp.com/blog/37623

AWS特化ブログ結構ありますね