Web Scraper di un RSS

Questo è un esempio di documento RSS, nello specifico è l'RSS associato alle news del mio sito: appuntivari.net

http://www.appuntivari.net/home/-/asset_publisher/JL5WlQX1kGr1/rss

(provate a fare un copia-incolla sul Browser e vedrete che verrà visualizzato un XML-FEED)

Qui sotto invece viene mostrato il codice del Web Scraper scritto in Java:

package appuntivari.webscrapers.test;

import java.io.ByteArrayInputStream;

import java.io.StringWriter;

import java.text.DateFormat;

import java.text.SimpleDateFormat;

import java.util.Date;

import java.util.Locale;

import javax.xml.parsers.DocumentBuilder;

import javax.xml.parsers.DocumentBuilderFactory;

import javax.xml.transform.OutputKeys;

import javax.xml.transform.Transformer;

import javax.xml.transform.TransformerFactory;

import javax.xml.transform.dom.DOMSource;

import javax.xml.transform.stream.StreamResult;

import org.apache.commons.lang.StringUtils;

import org.w3c.dom.Document;

import org.w3c.dom.Element;

import org.w3c.dom.Node;

import org.w3c.dom.NodeList;

import com.gargoylesoftware.htmlunit.WebClient;

import com.gargoylesoftware.htmlunit.html.HtmlElement;

import com.gargoylesoftware.htmlunit.html.HtmlPage;

import com.gargoylesoftware.htmlunit.xml.XmlPage;

public class ScraperAppuntiVari {

@SuppressWarnings("deprecation")

public static void main(String[] args) throws Exception {

WebClient browser = new WebClient();

browser.setJavaScriptEnabled(false);

String url = "http://www.appuntivari.net/home/-/asset_publisher/JL5WlQX1kGr1/rss";

DateFormat df = new SimpleDateFormat("yyyy-MM-dd'T'HH:mm:ss'Z'", Locale.ENGLISH);

XmlPage xml = browser.getPage(url);

Document doc = convert(xml);

NodeList listOfItems = doc.getElementsByTagName("entry");

for (int i = 0; i < listOfItems.getLength(); i++) {

Node firstItemNode = listOfItems.item(i);

if(firstItemNode.getNodeType() == Node.ELEMENT_NODE){

Element firstItemElement = (Element)firstItemNode;

String titolo = null;

String link = null;

String autore=null;

Date aggiornatoIl =null;

Date pubblicatoIl =null;

try {

titolo = ((Element)firstItemElement.getElementsByTagName("title").item(0)).getChildNodes()

.item(0).getNodeValue().toString();