[カテゴリ未分類]の記事一覧 | たろさん7890のブログ

ポケモンGO ウルトラビースト襲来イベントの色違い

ポケモンGO ウルトラビースト襲来イベント中ですが、初の色違い２体ゲットしました！1つ目は、デンジュモク2つ目は、フェローチェまだゲットできていないのは、マッシブーン明日は、いよいよ、GOFEST2024　の初日です。今日、２体ゲットできたので、マッシブーンとネクロズマの色違いに、狙いが絞れました。でも、天気悪くなりそうなんですよね

Excel のデータをMySQLに入れたいけど、CSV形式は何かと大変

Excel のデータをMySQLに入れたいけど、CSVだと何かと大変。Excelって、・セルの中で改行していたり、・データ区切り文字に使いたいカンマ(､)・文字列囲みのダブルコーテーション（”）とかが、含まれていたりすると、インポートするときに、そこそこ面倒です。phpMyAdmin だと、CSVを画面からインポートすることができるのですが、100%の確率で、上記のような理由で、エラーとなってしまいます。エラーをすべてつぶしていると、件数が多いと、かなりの時間を使ってしまいます。そこで、オススメなのが、XML形式です。前提としては、MySqlのクライアントが必要です。MySqlクライアントから、Loadコマンドを利用します。■MySQLのLoadコマンドで取り込む（ゴールイメージ）XMLファイルを準備して、コマンドラインから、こんな感じで実行します。たとえば、mysql --host ホスト名 --user ユーザＩＤ -pパスワード <<EOFuse データベース名;set character_set_client="utf8";truncate table table_chumon;load xml local infile "D:\chumon.xml" replace into table table_chumon rows identified by "<table_chumon>" EOF上の例では、・ホスト名、ユーザID、パスワード、データベース名：環境にあわせて指定・取り込むファイルを指定："D:\chumon.xml" ・取り込み先のテーブルを指定：table_chumon・レコードの区切りの指定：<table_chumon>　（ここは、作成したXMLファイルに記述されている文字列に合わせるのが楽です）を指定してます。■取り込むデータの準備XML形式での準備としては、Excelでデータを作成すると思うのですが、実はExcelファイルから、XMLファイルを直接出力するのは面倒です。Excelの開発ツールを使う必要があります。Excelの開発ツールで、出力するXMLの項目などを定義するのですが、これが結構手間がかかります。開発に慣れていない方には、ハードルが高いかも・・・お薦めは、Accessの利用です。Accessない場合は、Excelで頑張りましょう。Accessだと、事前の定義なしで、XMLファイルを出力できます。大まかなイメージとしては、１．Accessから、データが入っているExcelシートを読み込むか、またはリンクしてます２．そして、対象のシートをXML形式で保存します。３．事前にExcel側で、Excelの列名をテーブルの列名に合わせておきます。具体的にみると、１．AccessにExcelデータと取り込むAccessを起動して、「外部データ」から「Excel」をクリック。あとは、画面に合わせて、対象のExcelのシートを選びます（リンクでも、インポートでもどちらでもOK)２．XMLファイルの出力Excelを取り込むと、テーブルに表示されます。右クリックで、「エクスポート」から「XMLファイル」を選択します。エクスポートの情報は、「データ」と「スキーマ」で良いでしょう。出力されたXMLって、どうなっているの？出力したファイルをテキストエディタなどで開くと、以下のようになっています。Excelの１行が、タグ付されます。以下の例では、＜レイド＞と＜/レイド＞で囲まれた部分が、１行分です。上の例で、「レコードの区切りの指定：<table_chumon>　」にあたります。Excelのシート名がここに変換されます。Excelの列名が、＜＞で囲まれたところに変換されています。Mysqlにロードするときに、ここがMySQLの列名の指定になります。つまり、Excelの方で、列名をMySQLの列名に合わせておけば、出力されたXMLにその列名で生成されます。Excelの１つのセルは、この＜列名＞と＜/列名＞で囲まれた形式に変換されます。セル中に改行や、区切り文字が入っていても、そのままこの＜列名＞と＜/列名＞の間に入ります。改行とかが入っていても、CSVだと壊れたデータになってしまいますが、XMLだとそのまま、MySQLにロードできます。■MySQLコマンドの実行最後に、上で書いたのMySQLのコマンドを実行すれば、終了です。コマンドでエラーになる主なケース：だいたい、次の２つです。・MySQLの列名と、XMLで指定した値と一致していない・行の区切り（例では、＜レイド＞と＜/レイド＞の部分）がXMLファイルと、MySQLコマンドで指定した値と一致していない■MySQLクライアントMysqlクライアントのインストールが必要なんですが、次のようなキーワードでググれば、すぐに見つかります。MySQL Command Line ClientMySQLクライアント多少、準備が必要ですが、CSVのロードエラーをつぶしていく時間を考えれば、圧倒的に楽だと思います。

ModuleNotFoundError: No module named 'torchtext.data.field'

昨日まで動いていた機械学習の環境がエラーで動かなくなった。以下のエラーModuleNotFoundError: No module named 'torchtext.data.field'どうやら、torchtextがバージョンアップして、torchtext.dataが、ライブラリ上、"Legacy"へ移動してしまったようだ。今、pip install torchtext でインストールすると、こちらの最新がインストールされる。ちょど、バージョンアップさせたところなので、これが原因で間違いなさそう。https://pypi.org/project/torchtext/このあたりが、対象となっているようだ。ちょうど、エラーになったコードが対象になっていた。torchtext.legacy.data.fieldtorchtext.legacy.data.batchtorchtext.legacy.data.exampletorchtext.legacy.data.iteratortorchtext.legacy.data.pipelinetorchtext.legacy.datasets移行ガイド（英語）に行ってみると、https://colab.research.google.com/github/pytorch/text/blob/master/examples/legacy_tutorial/migration_tutorial.ipynbtorchtext 0.9.0　から変わっているらしい。新旧のコードが掲載されているが、すぐに書き換えるのは、ちょっと大変そうなので、torchtextのバージョンを戻すことにした。ということで、一度アンインストールしてから、バージョンを指定して、再度インストール。pip uninstall torchtextpip install torchtext==0.8.1torchのバージョンも依存するようで、torchも自動的にアンインストールされて、再度インストールされた。再インストール前後のバージョンはこちら：再インストール前torch 1.8.0torchtext 0.9.0後torch 1.7.1torchtext 0.8.1で、エラーは解消され、もと通り動いてくれました。

phpmyadmin に接続したらソースが表示されました・・・

phpmyadmin に接続したらソースが表示されました・・・そもそものシチュエーション：１．Azure Database for MySQLを使うAzure で、MySQLを使おうとしていて、MySQLは、仮想マシンにインストールするのではなく、Azure Database for MySQLを使用するという状況にいます。２．仮想マシンの作成Webのアプリケーションを、仮想マシンで稼働させる予定です。アプリとして、上のMySQLを使います。現在：とりあえず、仮想マシンからMySQLに接続できるようにはなりました。単に、MySQLのクライアントをつないだだけです。次に、MySQLにアプリの環境、つまりデータベースとテーブルを準備しようとしています。そこで、MySQLの保守をするための環境として、PHPMyAdminを使ってみようとしています。PHPMyAdminは、仮想マシンのapacheで稼働させます。PHPMyAdminを仮想マシンにインストールして、httpdの設定をして、いよいよ、自分のPCのブラウザから、アクセスしました。最初は、もろもろの設定ミスがあって、いろいろエラーがでましたが、それらを解決して、そこで、この状況です。たぶん、かなり初心者的なことをやっているはず。という予感はありました。グーグル先生に聞いてみました。いろいろ設定系のミスを示唆されましたが、どれも、該当しません。そして、気づきました。そもそも、設定ミス以前に、PHPのライブラリがないです、ね・・・・。/etc/httpd/conf.modules.d/の下にあるはずのphpの設定が無かったです。そう、PHPMyAdminをインストールいているのに、PHPをインストールしていませんでした。PHPMyAdminをインストールしたときに、同時にインストールした気になってました。でも、PHPは別にインストールしないといけなかったようです。ちなみに、yum install　でインストールしてました。PHPをインストールして、httpdを再起動させてから、再度アクセスすると、今度はちゃんとアプリが表示されました！初心者のやらかし、シリーズが出来そうな予感・・・。